# 将万亿参数模型的同步开销从TB降至MB：TRL中的Delta权重同步创新
6 min read
异步强化学习训练中，每步需传输完整模型权重。TRL团队发现相邻优化步间99%的bf16权重完全一致，于是通过稀疏safetensors文件将Qwen3-0.6B的同步负载从1.2GB降至20-35MB，并利用Hugging Face Bucket实现跨机器的零配置传输。
/ tags/ 训练
# 异步RL训练的革命性优化：TRL用稀疏增量同步将数据传输量降至1/50
5 min read
Hugging Face TRL库引入Delta Weight Sync机制，利用93%以上的参数在相邻优化步间完全不变的特点，将每步权重传输量从1.2GB降至20-35MB，使异步强化学习训练成本大幅降低。
# 万亿参数模型的轻量同步：TRL 引入 Delta Weight Sync，异步RL每步开销从1TB降至20MB
5 min read
Hugging Face TRL库发布Delta Weight Sync机制，利用权重更新稀疏性，将异步强化学习中从训练器到推理引擎的模型同步开销降低约三个数量级，并可在无共享集群的条件下完成跨节点训练。