Table of Contents
背景
构建高质量的小语言模型不仅仅是扩展计算资源，还需要在整个训练过程中进行严格的数据筛选。IBM的Granite 4.1系列正是这种思路的体现。该系列包括3B、8B和30B三个规模的密集解码器模型，训练于约15T tokens，采用了多阶段预训练流水线，包括长上下文扩展到512K tokens。之后通过大约410万个高质量精选样本进行监督微调，并采用基于策略的GRPO（使用DAPO损失）进行强化学习。值得注意的是，8B指令模型在性能上匹配甚至超过了之前的Granite 4.0-H-Small（32B-A9B MoE），尽管使用了更简单的密集架构和更少的参数。所有Granite 4.1模型均以Apache 2.0许可证发布。
核心内容分析
模型架构
Granite 4.1使用解码器专用密集Transformer架构，核心设计包括分组查询注意力（GQA）、旋转位置嵌入（RoPE）、SwiGLU激活、RMSNorm以及共享输入/输出嵌入。三个模型大小共享相同的训练流水线和数据策略，仅在架构维度上有所不同。
预训练
Granite 4.1从零开始在约15万亿token上训练，采用五阶段训练策略。阶段1-2专注于基础预训练，阶段3-4进行中期训练，逐步采用更高质量的数据退火，阶段5引入长上下文训练，将上下文窗口扩展到512K tokens。每个阶段使用不同的数据混合和学习率调度，逐渐从广泛的网络规模数据转向更精选的领域特定内容。
- 阶段1：通用预训练（10T tokens） 建立广泛的语言理解能力。
- 阶段2-4：高质量数据退火 逐步增加高质量书籍、代码、数学等数据的比例。
- 阶段5：长上下文扩展 通过位置插值和继续训练将上下文长度提升至512K。
监督微调与强化学习
监督微调使用了约410万个精心策划的样本，通过LLM作为评判框架进行质量过滤。强化学习阶段采用在线策略的GRPO，结合DAPO损失，系统性地提升数学、编码、指令遵循和通用聊天能力。
行业影响/专业点评
Granite 4.1的发布展示了“小模型+高质量数据”路线的可行性。8B模型超越32B MoE的结果表明，数据质量和训练方法比单纯扩大参数规模更重要。其开源许可证（Apache 2.0）有利于企业采用和定制。五阶段预训练策略也为其他团队提供了可复现的参考。特别是在长上下文方面扩展到512K tokens，使得模型能够处理更复杂的文档分析任务。Granite 4.1的完整技术披露对于推动开源大模型的发展具有重要价值。
