Table of Contents
背景
构建高质量的小型语言模型不仅仅是缩放计算量，更需要严格的训练数据策划。IBM 最新发布的 Granite 4.1 系列（3B、8B、30B）充分体现了这一理念。这些密集解码器模型在约 15 万亿 token 上训练，采用多阶段预训练管道，包括长达 512K token 的长上下文扩展。其后通过约 410 万高质量样本的监督微调和基于策略的 GRPO（带 DAPO 损失）强化学习进行精炼。值得关注的是，8B 指令模型在性能上匹配甚至超越了之前的 Granite 4.0-H-Small（32B-A9B MoE），尽管使用了更简单的密集架构且参数更少。所有模型均以 Apache 2.0 许可证发布。
核心内容分析
Granite 4.1 的技术突破体现在三个层面：
1. 架构设计：采用编码器-解码器密集 Transformer，核心设计包括分组查询注意力（GQA）、旋转位置嵌入（RoPE）、SwiGLU 激活、RMSNorm 以及共享输入/输出嵌入。三个尺寸的模型共享相同的训练流水线和数据策略，仅在架构维度上不同。
2. 五阶段预训练：从约 15 万亿 token 开始，分五个阶段逐步推进。阶段 1-2 为基础预训练（约 10T token，建立广泛语言理解），阶段 3-4 为中期训练（高质量数据退火），阶段 5 为长上下文训练（将上下文窗口扩展至 512K token）。每个阶段采用不同的数据混合和学习率调度，从广泛的网络数据逐渐过渡到更精选的领域内容。这种渐进式数据质量提升确保了模型在通用知识和专业能力上的平衡。
3. 后训练：监督微调使用 LLM-as-Judge 框架筛选约 410 万高质量样本。强化学习阶段采用多阶段管道，重点在数学、编码、指令遵循和通用聊天能力。特别地，GRPO 与 DAPO 损失的结合优化了策略梯度训练的效率，使模型在较小规模下达到优秀效果。
行业影响/专业点评
Granite 4.1 的发布传递了几个重要信号：
- 密集模型复兴：8B 密集模型超越 32B MoE 模型，表明精心设计的数据和训练策略可以弥补参数量的不足。对于资源有限的团队，这意味着无需追求超大模型也能获得竞争力。
- 数据工程比算力更重要：15T token 的规模并非极端，但分阶段的质量退火和微调数据策划是性能提升的关键。这验证了“数据质量 > 数据数量”的趋势。
- 开源许可的善意：Apache 2.0 许可证允许商用和修改，为社区贡献提供了极大便利。这有助于建立围绕 Granite 的生态系统，吸引开发者贡献微调版本和应用。
当然，Granite 4.1 的 benchmark 表现需要独立验证，且其长上下文能力仅为 512K，低于一些竞品。但其在复杂推理和代码生成上的平衡表现，使其成为中小型部署场景的有力候选。IBM 的这一举措可能会促使更多厂商重新审视密集架构的潜力，并加速数据策划工具的普及。
