Table of Contents
背景
在大模型军备竞赛中，IBM选择了另一条路径：构建高质量的小语言模型。Granite 4.1系列包含三个密集、纯解码器模型（3B、8B、30B），均从零开始训练，基于约15万亿标记。其核心理念是：数据质量优先于数据数量。通过渐进式精炼的数据组合、严格的监督微调数据筛选以及多阶段强化学习，IBM展示了如何用小参数实现大突破——8B指令模型在多个基准上匹配甚至超越了此前32B-A9B MoE架构的Granite 4.0-H-Small。
核心内容分析
Granite 4.1的构建过程堪称数据工程的教科书式案例：
1. 五阶段预训练管道：
- 阶段1-2：大规模通用预训练（约10T标记），建立广泛语言理解。
- 阶段3-4：中训练（高质量数据退火），逐渐从网络级数据转向更精选的领域特定内容。
- 阶段5：长上下文扩展训练，将上下文窗口延伸至512K标记。每个阶段使用不同的数据混合和学习率调度，数据质量逐阶段提升。
2. 监督微调：使用LLM-as-Judge框架从更大候选池中筛选出约4.1M高质量样本。这种自动化的质量过滤机制确保了微调数据的可靠性和针对性。
3. 强化学习：采用基于策略的GRPO（组相对策略优化）算法，并结合DAPO损失函数，系统性地提升了模型在数学、编码、指令跟随和通用聊天方面的能力。
架构细节：模型使用分组查询注意力（GQA）、RoPE位置编码、SwiGLU激活函数、RMSNorm归一化以及共享输入输出嵌入。30B版本具有64层和4096维隐藏层，在所有大小上保持了训练管道的统一。
行业影响/专业点评
Granite 4.1的发布有力地证明了“小模型+高质量数据+精细训练”路线的可行性。在参数规模不断膨胀的趋势下，IBM逆向而行，用更少的参数实现了同等级甚至更优的性能，这对于企业级本地部署、低延迟应用和隐私敏感场景具有重要价值。特别是Apache 2.0许可证的彻底开源，使得任何组织都可以自由使用、修改和商用这些模型。此外，其训练流程中数据退火、SFT质量筛选、GRPO等多阶段优化策略，为社区提供了可复现的最佳实践参考。未来，小模型与高质量数据的组合很可能成为许多垂直应用的主流选择，而Granite 4.1正是这一趋势的标杆。
