背景

在强化学习（RL）训练大语言模型时，奖励计算和策略更新高度依赖 roll-out 阶段返回的 token log-probability。如果推理引擎返回的 logprobs 与训练器期望的语义不一致，哪怕微小的差异也会导致 KL 散度、裁剪率、熵乃至奖励信号的偏移，最终破坏训练稳定性和收敛效果。

vLLM V1 是一次重大的引擎重写，旨在提高性能，但迁移过程中可能会引入与 V0 的行为差异。ServiceNow 的 PipelineRL 团队在使用 vLLM V1 作为 roll-out 生成引擎时，遇到了训练侧指标与 V0 参考轨迹明显偏离的问题。他们的迁移目标很明确：先让 V1 生成与 V0 一致的 logprobs，再考虑目标层级的优化。

核心内容分析

四个关键修复

团队系统性地排查后，定位了四个导致 logprobs 偏差的原因：

1. rollout logprobs 的处理方式：V1 默认返回的 logprobs 与训练器期望的格式不同（例如是否包含特殊 token 的对数概率），需要调整后处理管道以确保一致性。

2. V1 特有的运行时默认值：V1 在缓存、调度等方面的默认行为与 V0 不同，导致同样输入下 logprobs 的计算路径不一致。团队通过显式覆盖默认值来匹配 V0 的行为。

3. 在途权重更新路径：当训练器在训练过程中向 vLLM 引擎推送新权重时，V0 和 V1 的处理逻辑存在差异，使得某些 token 的 logprobs 在更新后出现偏移。团队修复了权重同步机制。

4. fp32 lm_head 的使用：final projection 层（lm_head）在 V0 中以 fp32 精度运行，而 V1 默认可能使用 bf16，导致舍入误差累积。强制使用 fp32 后，logprobs 恢复到与参考一致的精度。

修正后的效果

修复后，V1 运行产生的训练侧指标（clip rate、KL、entropy、reward）与 V0 参考轨迹高度重合，如图 1 所示。关键信号如 clip rate 从早期分离状态回归到一致，验证了后端行为已完全对齐。

对在线 RL 系统的启示

该团队强调，同样的 mismatch 问题可能出现在 PPO、GRPO 或任何使用 roll-out logprobs 作为优化目标的在线 RL 系统中。因此，在迁移推理引擎时，必须仔细验证 logprobs 的语义一致性，而不能默认新引擎“更合理”而直接修改训练目标。

行业影响与专业点评

vLLM V0 到 V1 迁移的案例为所有使用大型推理引擎进行 RL 训练的团队敲响了警钟：推理引擎的“内部修正”如果没被察觉，可能会悄然改变训练动态，导致模型收敛至次优解甚至失败。ServiceNow 的方法论——先确保后端一致性，再改动目标函数——应当成为此类迁移的标准流程。对于正在或计划升级到 vLLM V1 的团队而言，本文列出的四个潜在问题点提供了直接的排查指南，有助于节省大量调试时间。

---

来源