Table of Contents
背景
2026年4月29日，IBM Granite团队在HuggingFace上发布了Granite 4.1系列语言模型的详细技术报告。这是继Granite 4.0之后的新一代密集解码器模型，包括3B、8B和30B三个版本。所有模型均基于Apache 2.0许可证开源，标志着企业级开源LLM的又一次重要迭代。
核心内容分析
模型架构
Granite 4.1采用密集Transformer架构，核心设计包括分组查询注意力（GQA）、旋转位置嵌入（RoPE）、SwiGLU激活函数、RMSNorm以及共享输入输出嵌入。三个模型的大小差异主要体现在层数、头数和MLP维度上。3B模型隐藏大小2560，40层，40个注意力头；8B模型隐藏大小4096，40层，32个头；30B模型隐藏大小4096，64层，32个头。
五阶段预训练管线
Granite 4.1从头训练了约15万亿token，采用五阶段策略：阶段1-2为基础预训练（10T token），阶段3-4为中期训练（高质量数据退火），阶段5为长上下文训练（扩展到512K token）。每个阶段使用不同的数据混合和学习率调度，从广泛的网络数据逐渐过渡到更精选的领域内容。这种渐进式数据质量提升是IBM声称性能超越前代的关键因素。
监督微调与强化学习
在预训练之后，模型经历了包含约410万高质量样本的监督微调，这些样本通过LLM-as-Judge框架精心筛选。随后是多阶段强化学习管线，采用on-policy GRPO与DAPO损失（Yu et al., 2025）相结合，系统地增强了数学、编码、指令遵循和通用对话能力。值得注意的是，8B instruct模型在性能上匹配甚至超越了前代Granite 4.0-H-Small（32B-A9B MoE），尽管参数更少且架构更简单。
开源与许可
All Granite 4.1 models are released under the Apache 2.0 license，允许自由使用、修改和分发。IBM还提供了HuggingFace收藏集、GitHub仓库和详细文档，降低了社区使用门槛。
行业影响/专业点评
Granite 4.1的发布再次证明了“小而精”路线的可行性。通过精心设计的数据工程和多阶段训练，小模型可以媲美甚至超越大模型，这为资源有限的团队提供了新的可能性。Apache 2.0许可进一步降低了商业部署的法律障碍，IBM在开源社区的持续投入也巩固了其作为企业级AI重要玩家的地位。
然而，报告也揭示了训练开销的透明性——15T token和复杂的强化学习管线意味着即便是“小”模型，研发成本依然惊人。IBM通过公开这些细节，推动了AI领域的可复现性和可比性。对于希望自建LLM的企业而言，Granite 4.1的训练策略提供了宝贵的参考范式：数据质量优先于数量，多阶段退火优于单次训练，以及开源许可带来的生态红利。
