背景

在大型语言模型（LLM）竞赛中，“更大”曾被视为通往更强性能的唯一路径。然而，IBM Granite 团队最新发布的 Granite 4.1 系列模型却向这一观念发起了有力挑战。该系列包含 3B、8B 和 30B 三个尺寸的密集（dense）解码器模型，通过精细的数据工程和训练策略，使得最小的 8B 版本即可匹配甚至超越此前版本 Granite 4.0-H-Small（32B-A9B MoE）的性能。更令人关注的是，所有模型均以 Apache 2.0 协议开源，为社区提供了高质量的小模型选择。

核心内容：数据驱动的五阶段训练

Granite 4.1 从零开始在约 15 万亿 token 上训练，其预训练过程被精心划分为五个阶段：

• 阶段 1－2：通用预训练。前两个阶段以大规模网络数据为主，奠定语言基础，共消耗约 10T tokens。
• 阶段 3－4：数据退火（Data Annealing）。逐步引入更高质量、领域更聚焦的数据（如代码、数学、科学文献），并对学习率进行退火处理。这一“数据精炼”阶段显著提升了模型在特定任务上的能力。
• 阶段 5：长上下文扩展（LCE）。通过位置编码的调整和长文本数据的继续训练，将模型的上下文窗口延伸到 512K tokens，满足文档级理解和推理需求。

除预训练外，团队还构建了约 410 万条高质量监督微调（SFT）样本，采用 LLM-as-Judge 框架自动筛选数据质量。随后通过在线策略的 GRPO 算法结合 DAPO 损失进行强化学习，系统性地提升数学、代码、指令遵循和对话能力。

行业影响与专业点评

Granite 4.1 的成功标志着 LLM 开发正在从“堆算力”转向“堆数据质量”。IBM 通过数据退火和精细化的训练流程，在较小规模模型上实现了性能突破。这对行业有两个重要启示：

1. 小模型的潜力被重新认识。对于许多企业级应用，数十亿参数的模型在成本和效率上更具优势。Granite 4.1 证明了精心设计的小模型可以成为强大且具性价比的解决方案。
2. 开放研究范式的延续。Apache 2.0 开源许可和详尽的技术报告（涵盖架构、数据、训练细节）有助于社区复现和构建衍生模型，加速 AI 民主化进程。

可以预见，未来将会有更多团队效仿这种“数据精炼”策略，推动 LLM 生态向更高效、更优质的方向发展。

---

来源