背景

开源大语言模型领域再添重磅选手。IBM于2026年4月29日发布Granite 4.1系列，这是一族密集、仅解码器的LLM，包含3B、8B和30B三个规模。与上一代Granite 4.0（采用MoE架构，32B-A9B）不同，4.1版本回归密集架构，却在8B规模上实现了对前者的持平甚至超越。全部模型以Apache 2.0许可证开源，为企业和研究者提供了强大且开放的选择。

核心内容：技术细节深度解析

数据与训练策略

Granite 4.1的训练核心是“质量优先于数量”。模型从零开始训练，使用约15万亿token的数据，并采用独特的五阶段训练策略：

• 阶段1-2：基础预训练，使用10T token建立广泛的语言理解能力。
• 阶段3-4：中期训练（高质量数据退火），逐步引入更高质量、更领域特定的数据。
• 阶段5：长上下文训练，将上下文窗口扩展至512K token。

每个阶段采用不同的数据混合和学习率调度，从广泛网络数据逐渐过渡到精选内容。这种渐进式数据精炼是Granite 4.1实现高效学习的关键。

架构设计

三个模型均采用密集Transformer架构，核心设计包括：

• 分组查询注意力（GQA）
• 旋转位置嵌入（RoPE）
• SwiGLU激活函数
• RMSNorm
• 共享输入/输出嵌入

具体参数如下：

• 3B：嵌入大小2560，40层，40个注意力头，8个KV头
• 8B：嵌入大小4096，40层，32个注意力头，8个KV头
• 30B：嵌入大小4096，64层，32个注意力头，8个KV头

后训练对齐

在预训练基础上，模型经历了两个关键阶段：

1. 监督微调（SFT）：使用约410万高质量精心策划的样本进行微调，这些样本通过LLM-as-Judge框架筛选。
2. 强化学习：采用在线策略的GRPO（Group Relative Policy Optimization）结合DAPO损失函数，系统性增强数学、编码、指令遵循和通用对话能力。

性能亮点

最引人注目的是Granite 4.1-8B指令模型的性能：尽管参数更少（8B vs 32B有效参数），其表现持平甚至超越上一代Granite 4.0-H-Small（32B-A9B MoE）。这表明密集架构配合优质数据与训练策略，可以在更小规模实现更高效率。

行业影响与专业点评

Granite 4.1的发布意义深远。首先，它验证了密集架构在中小规模模型上依然具有竞争力——当数据质量和训练策略足够优秀时，复杂的MoE并非必需。其次，Apache 2.0许可使得企业可以自由使用、修改和部署，尤其适合对数据安全要求高的场景。

IBM在数据工程上的投入（五阶段预训练、4.1M精心策划的SFT数据、多阶段RL）为开源社区提供了可复现的范本。对于希望自建LLM的组织，Granite 4.1的训练流程和设计原则具有极高的参考价值。

此外，512K长上下文能力使模型能够处理整本书、长文档和多轮对话，扩展了企业应用边界。在成本敏感场景，3B和8B模型提供了卓越的性价比。

总结

Granite 4.1系列代表了IBM在开源LLM领域的最新深度探索，通过“质量优先”的数据策略和精心设计的训练流程，在密集架构上实现了性能突破。对于关注模型效率、可解释性和开放性的开发者和企业，这是一个值得深入了解的技术路线。

---

来源