# vLLM V0 到 V1 迁移实战:修复四个关键问题,确保 RL 训练一致性
5 min read
ServiceNow 团队在将 RL 训练从 vLLM V0 迁移到 V1 时发现 logprob 差异影响训练动态,通过修复四个关键点实现后端一致性,为在线 RL 系统迁移提供宝贵经验。
ServiceNow 团队在将 RL 训练从 vLLM V0 迁移到 V1 时发现 logprob 差异影响训练动态,通过修复四个关键点实现后端一致性,为在线 RL 系统迁移提供宝贵经验。
IBM发布Granite Embedding Multilingual R2系列,基于ModernBERT的97M和311M参数模型,支持200+语言、32K上下文,Apache 2.0开源,在MTEB多语言检索中表现最佳。
Allen AI 发布 EMO 模型,通过端到端预训练让 MoE 专家从数据中自发形成模块化结构,仅用 12.5% 的专家即可保持接近完整性能,为高效任务定制和节省推理成本开辟新路径。
Hugging Face 团队提出异步批处理技术,通过分离 CPU 批次准备与 GPU 计算,消除推理循环中的空闲间隙,可将 GPU 利用率提升至接近 100%,吞吐量提升可达 20% 以上。
IBM 发布 Granite Embedding Multilingual R2 系列,基于 ModernBERT 架构,97M 和 311M 参数模型在 MTEB 多语言检索任务上超越同类开源模型,支持 200+ 语言和 32K 上下文,Apache 2.0 开源。
AI2 发布 EMO 模型,通过端到端预训练使 Mixture-of-Experts 中的专家自动形成领域专属的模块化结构,仅用 12.5% 的专家即可完成特定任务,性能接近全模型。