# 从 vLLM V0 到 V1:强化学习训练中“先求正确再求优化”的工程实践
4 min read
ServiceNow AI 团队在迁移 vLLM 推理引擎时发现四个导致训练指标偏离的关键问题:logprob 语义差异、运行时默认值、权重更新路径及 fp32 精度。通过逐一修复实现了后端一致性,强调 RL 训练中 engine 行为正确优先于算法改进。
ServiceNow AI 团队在迁移 vLLM 推理引擎时发现四个导致训练指标偏离的关键问题:logprob 语义差异、运行时默认值、权重更新路径及 fp32 精度。通过逐一修复实现了后端一致性,强调 RL 训练中 engine 行为正确优先于算法改进。
IBM 发布了 Granite 4.1 系列小模型(3B/8B/30B),通过五阶段预训练、精细数据筛选和多阶段强化学习,8B 版本性能超越此前 32B MoE 模型,全部开源。本文深入拆解其训练技术和关键设计。
Allen AI 发布 EMO 模型,通过端到端预训练使专家自动聚类为语义模块,无需人工标签。仅激活 12.5% 的专家即可保留近乎全模型性能,为高效推理和领域适配开辟新路径。
AI 缩放定律从预训练扩展到后训练和推理,AWS 开源架构应对新挑战。
IBM 发布 Granite 4.1 系列模型,8B 参数量超越此前 32B MoE 模型,数据工程和强化学习是关键。
AI2 发布 EMO 模型,通过端到端预训练让混合专家模型自动形成模块化结构,仅用 12.5%专家即可保持近全模型性能。