Table of Contents
背景
2026年4月29日，IBM Granite团队在HuggingFace博客上发布了Granite 4.1系列大语言模型的技术细节。这是一套密集、解码器仅变换器模型（3B、8B、30B），在约15T tokens上使用多阶段预训练流水线训练，包括长达512K令牌的长上下文扩展。模型通过监督微调（约410万高质量样本）和基于策略的GRPO（含DAPO损失）强化学习进一步精炼。值得注意的是，8B指导模型在多项任务上匹配甚至超越了前代Granite 4.0-H-Small（32B-A9B MoE），尽管使用更简单的密集架构和更少的参数。所有Granite 4.1模型均以Apache 2.0许可证开放。
核心内容分析
数据质量优先的预训练策略
Granite 4.1的预训练分为五个阶段，逐步将数据混合从通用网络数据过渡到更精选的领域特定内容：
- 阶段1（10T tokens）：通用预训练，建立广泛语言理解。
- 阶段2（持续）：基础预训练。
- 阶段3-4：中期训练，使用逐步高质量数据退火。
- 阶段5：长上下文训练，将上下文窗口扩展到512K tokens。
每个阶段使用不同的数据混合和学习率调度。IBM强调数据质量高于数量，通过渐进式筛选提升模型性能。
模型架构保持一致
三个模型大小共享相同的训练流水线和数据策略，仅架构维度不同。核心设计包括分组查询注意力（GQA）、旋转位置嵌入（RoPE）、SwiGLU激活、RMSNorm和共享输入/输出嵌入。例如，8B模型使用4096维嵌入、40层、32个注意力头、8个KV头。这种一致性简化了训练和部署。
监督微调与强化学习
微调数据使用LLM-as-Judge框架精心筛选，确保高质量。强化学习采用多阶段流水线，系统性地增强数学、编码、指令遵循和通用聊天能力。GRPO结合DAPO损失（Yu et al., 2025）是一种在线策略优化方法，能有效提升模型对齐度。
行业影响/专业点评
Granite 4.1的开源策略和详细技术公开对AI社区具有重要价值。它证明通过精细的数据筛选和多阶段训练，密集小模型可以胜过更大的混合专家模型，这对降低推理成本和部署门槛意义重大。IBM强调数据质量而非单纯规模，为小型LLM训练提供了可复现的范例。此外，Apache 2.0许可证鼓励商业使用，有望推动企业级应用。该系列模型在HuggingFace上提供，社区可以立即上手实验。IBM还发布了完整的文档和GitHub仓库，透明度极高。
