# 异步连续批处理：打破 LLM 推理中的 CPU-GPU 同步瓶颈
4 min read
Hugging Face 团队提出异步批处理技术，通过分离 CPU 批次准备与 GPU 计算，消除推理循环中的空闲间隙，可将 GPU 利用率提升至接近 100%，吞吐量提升可达 20% 以上。
/ tags/ 推理
# 异步连续批处理：让 LLM 推理的 GPU 利用率逼近 100%
4 min read
连续批处理虽然提升了 LLM 推理的 GPU 利用率，但同步模式仍存在 CPU-GPU 串行间隙。Hugging Face 团队提出异步批处理方法，通过解耦批次准备与计算，可消除近 25% 的空闲时间，显著降低推理成本。