Table of Contents
背景
2026年4月29日，IBM Granite团队在HuggingFace上发表了技术博文《Granite 4.1 LLMs: How They’re Built》，详细介绍了其第三代小语言模型家族。Granite 4.1包括3B、8B和30B三个密集解码器模型，全部采用Apache 2.0许可开源。最令人瞩目的成果是：8B instruct模型在性能上匹配甚至超越了前代Granite 4.0-H-Small（32B-A9B MoE），以密集架构击败了更大的混合专家模型，印证了数据质量对模型能力的决定性作用。
核心内容分析
一、架构设计：纯密集的务实选择
Granite 4.1全部采用解码器密集Transformer架构，核心设计包括分组查询注意力（GQA）、旋转位置编码（RoPE）、SwiGLU激活函数、RMSNorm以及共享输入输出嵌入。三个模型的区别仅在于维度：3B（40层，嵌入2560）、8B（40层，嵌入4096）、30B（64层，嵌入4096）。这种设计避免了MoE的通信复杂性和负载均衡问题，使部署更加简便。
二、五阶段预训练：从粗到精的数据净化
所有模型从头开始训练，总计约15万亿token，采用独特的五阶段策略：
- 阶段1：通用预训练（10T token），建立广泛语言理解。
- 阶段2-4：中期训练，逐步提升数据质量，进行高质量数据退火（annealing），从网络数据过渡到专业领域内容。
- 阶段5：长上下文训练，将上下文窗口扩展至512K token。
每个阶段使用不同的数据混合和学习率调度。这种渐进式数据精炼是Granite 4.1的核心创新——不是简单扩大数据量，而是持续提升数据质量，让模型在后期接触更精良的语料。
三、后训练：高质量SFT与强化学习
监督微调（SFT）使用了约410万高质量精选样本，通过LLM-as-Judge框架进行质量控制。强化学习阶段采用on-policy GRPO结合DAPO损失（Yu et al., 2025），系统地提升数学、编程、指令遵循和通用对话能力。这使得8B模型能够在多种任务上与小号MoE模型竞争。
行业影响/专业点评
Granite 4.1的成功释放了一个明确信号：在Scaling Law之外，数据工程是一条同样有效的赛道。IBM选择沿着“数据质量”而非“模型参数量”的路径前进，并取得了可量化的胜利。
对于中小企业和研究机构而言，Granite 4.1意味着他们无需追逐千亿参数模型即可获得一流性能——8B密集模型部署成本低、推理速度快，且完全开源。这有望推动更多企业从API依赖转向自托管小模型。
更深远的意义在于，Granite 4.1的“五阶段预训练+质量优先”策略可能成为一种可复制的范式。当整个行业都在疯狂堆算力时，IBM用实践证明：精细化的数据烹饪，比无脑扩大食材更重要。Apache 2.0许可进一步放大了其影响力——任何人都可以基于这些模型进行二次开发。
