背景

在异步强化学习（Async RL）训练中，一个长期存在的痛点：每次优化步骤后，训练器必须将整个模型权重发送给推理引擎。对于一个 7B 参数的 bf16 模型，这意味着每次传输 14 GB；对于万亿参数级别的模型，单次传输量可达 TB 级。这种重量级同步不仅占用大量带宽，还导致 GPU 空闲等待。

2026 年 5 月 27 日，HuggingFace 团队在 TRL 库中合并了一个 PR，通过“Delta 权重同步”机制大幅降低传输开销。其核心洞察是：连续两次 RL 优化步骤之间，约 99% 的 bf16 权重是比特相同的（最差情况也不低于 98%），实际变化的增量极小。

核心内容分析

技术原理

传统方法：每次同步传输完整模型快照。 Delta 同步：

1. 训练器完成优化步骤后，计算新旧权重之间的差异。
2. 只将发生变化的元素编码为一个稀疏 safetensors 文件（sparse safetensors）。
3. 将该文件上传到 Hugging Face Bucket。
4. 通知 vLLM 推理引擎从 Bucket 拉取增量。

实测效果

以 Qwen3-0.6B 模型为例：

• 完整模型传输量：1.2 GB
• Delta 同步传输量：20 至 35 MB（降低约 97%-98%）

更重要的是，该方法不要求训练器和推理引擎位于同一集群，甚至无需 RDMA 或 VPN。团队演示了一个完全解耦的训练场景：

• 训练器在一台机器上
• vLLM 部署在 Hugging Face Space 中
• Wordle 环境在另一个 Space 中
• 所有权重通过单个 Hub Bucket 流动

设计优势

• 非阻塞传输：训练器完成优化后立即发布“权重已就绪”并将增量上传到共享 Bucket，推理引擎可按需拉取，无需强制同步。
• 可扩展性：对万亿参数模型，从 TB 级降至 GB 甚至 MB 级，极大降低了分布式训练的基础设施成本。

行业影响/专业点评

这项工作是异步 RL 训练效率的重要突破。Fireworks 此前在一篇博文中提到，对于 fp8 精度的万亿参数模型，全量快照为 1024 GiB，传统观念下每次更新都需要传输如此庞大的数据，迫使团队构建巨型集群和专用高速网络。Delta 同步方案直接挑战了这一假设，证明通过稀疏编码和 Hub Bucket，即使跨区域也能高效同步。

对于研究者和工程团队，这意味着：

1. 可以更灵活地部署训练和推理节点，无需共享存储或低延迟互连。
2. 显著减少 GPU 空闲等待时间，提高资源利用率。
3. 降低大规模 RL 训练的门槛，让更多团队能够尝试万亿参数级别的模型。

HuggingFace 将这一功能集成到 TRL 库中，进一步降低了下游应用的成本。

---

来源