Table of Contents
背景
在大型语言模型不断追求参数规模之际，IBM的Granite团队却走出了一条不同的路。4月29日，Granite 4.1系列正式发布，包含3B、8B和30B三个尺寸的密集解码器模型。这些模型虽然参数规模不大，却在多项任务上展现出惊人表现——例如8B指令微调版本已经超越此前32B参数级的Granite 4.0-H-Small混合专家模型。它们全部基于Apache 2.0许可开源，意味着任何开发者都可以自由使用和修改。
核心内容分析
架构设计：小而精的密集Transformer
Granite 4.1采用纯密集Transformer架构，摒弃了混合专家（MoE）设计。三个模型共享相同的训练管线与数据策略，仅在架构维度上有所区别：3B版本嵌入维度2560，40层；8B版本嵌入维度4096，40层；30B版本嵌入维度4096，64层。所有模型均采用分组查询注意力、旋转位置编码、SwiGLU激活函数、RMSNorm，并共享输入输出嵌入，这些都是当前最稳健的设计选择。
训练策略：五阶段渐进式数据精炼
真正让Granite 4.1与众不同的是其精细化的训练流程。团队在大约15万亿token上进行了五个阶段的训练：
- 阶段1-2（预训练阶段）：在约10万亿token上建立通用语言理解能力，数据来源广泛，涵盖网络文本。
- 阶段3-4（中训练阶段）：逐步提高数据质量，进行数据退火，向更精选、更专业的领域内容倾斜。
- 阶段5（长上下文训练）：将上下文窗口扩展到高达512K token，满足长文档处理需求。
每个阶段都使用不同的数据混合和学习率调度，从粗放的网络数据逐步过渡到高水平精选数据。这种做法与“数据质量胜过数量”的理念一致，确保模型在关键能力上不会因为噪声数据而退化。
后训练：4.1M样本的精细对齐
在预训练之后，Granite 4.1经历了严谨的监督微调，使用大约410万条高质量人工筛选样本。这些数据通过“LLM作为裁判”框架进行质量验证。随后，团队应用了多阶段强化学习管线，包括基于策略的GRPO算法和DAPO损失函数，系统性地强化数学、编程、指令遵循和通用对话性能。
行业影响/专业点评
Granite 4.1的发布传递了一个重要信号：小模型仍然大有可为。在行业纷纷追逐千亿甚至万亿参数模型的当下，IBM用事实证明了精心设计的小模型可以击败规模更大的MoE模型。这对企业级部署尤其有利——更小的模型意味着更低的推理成本、更快的响应速度和更简单的合规管理。
此外，五阶段渐进式训练策略为社区提供了一个可复用的范式：与其一次性投喂海量低质数据，不如用多阶段、多粒度的方法逐步打磨模型能力。512K的上下文窗口也使其具备处理长文档（如合同、研究报告）的潜力。
开源许可Apache 2.0进一步降低了使用门槛。对于希望在本地或私有云中运行语言模型的企业，Granite 4.1提供了既有竞争力又灵活的选项。
