Table of Contents
背景
vLLM是目前最流行的大语言模型推理引擎之一，其V1版本是对V0的重写。ServiceNow AI团队在使用vLLM作为强化学习（RL）的rollout生成引擎时，发现从V0迁移到V1后训练指标出现显著偏差。他们进行了一系列排查，最终修复了四个关键问题，使得V1的训练轨迹与V0完全一致。这是一次宝贵的实践经验，揭示了在RL系统中“正确性先于优化”的原则。
核心内容分析
迁移目标与问题发现
团队的迁移目标很明确：验证V1返回的rollout logprobs形式是否与训练器预期一致；在V0参考上重新运行相同工作负载；在确保后端一致后，再评估目标层面的变化。最初V1运行后，他们观察到clamp_log_ratio_new_old_indicator、kl_new_old、entropy、reward等指标与V0参考分离。这些指标来自GSPO训练实验，但类似问题也可能出现在PPO、GRPO等在线RL系统中。
四类关键修复
团队将问题分为三层：语义不匹配（后端返回的logprobs意义与训练器预期不同）、推理路径不匹配（后端在缓存、调度等运行时默认值不同）、以及数值精度问题。具体修复包括：
- processed rollout logprobs：确保V1返回的logprobs经过与V0相同的后处理。
- V1-specific runtime defaults：调整V1的运行时默认值，匹配V0的行为。
- inflight weight-update path：修复训练过程中权重更新路径的差异。
- fp32 lm_head：确保最终投影层使用fp32精度，避免数值误差。
修复后的V1运行（图中绿色曲线）与V0参考（蓝色曲线）在clip rate、KL、entropy、reward等指标上高度一致。
深层原因
团队将可能原因分为三个层次：语义不匹配、推理路径不匹配、以及训练器与推理引擎之间的数值差异。这次迁移表明，即使推理引擎的宏观功能相同，微妙的实现差异（如缓存策略、调度顺序、浮点数精度）也足以显著改变RL训练的动力学。
行业影响/专业点评
这篇博客对正在使用或计划使用vLLM进行RL训练的团队具有重大参考价值。强化学习对数值精度和随机性极为敏感，推理引擎的微小改动可能导致训练不稳定甚至失败。ServiceNow团队的做法——先确保backend正确性，再改变目标——是一种务实的工程哲学。它提醒开发者，在迁移或升级推理引擎时，必须用与训练器完全相同的设置进行端到端验证。随着RL在线训练（如PPO、GRPO）日益流行，推理引擎与训练框架的一致性将成为关键挑战。vLLM作为开源社区的核心项目，其V1版本的稳定性和兼容性因此次修复而得到增强。
