# 解锁连续批处理中的异步并性：让GPU永远忙碌
4 min read
Hugging Face团队提出异步连续批处理技术，通过分离CPU和GPU的工作负载消除空闲等待，将LLM推理效率提升近25%，并详细分析了实现方案。
/ posts/ 19
# IBM开源多语言嵌入模型Granite R2：以97M参数刷新检索质量纪录
4 min read
IBM发布Granite Embedding Multilingual R2，基于ModernBERT架构，提供97M和311M两个版本，支持200+语言和32K上下文，MTEB多语言检索性能领先，开源Apache 2.0许可证。
# EMO：让MoE模型的专家模块从数据中自然涌现
4 min read
Allen AI发布EMO，一种全新的混合专家模型预训练方法，通过端到端训练让专家模块从数据中自动形成语义分组，仅用12.5%的专家即可达到近完整模型性能。
# 异步连续批处理：让 LLM 推理的 GPU 利用率逼近 100%
4 min read
连续批处理虽然提升了 LLM 推理的 GPU 利用率，但同步模式仍存在 CPU-GPU 串行间隙。Hugging Face 团队提出异步批处理方法，通过解耦批次准备与计算，可消除近 25% 的空闲时间，显著降低推理成本。
# IBM 开源 Granite Embedding R2：多语言检索的新标杆，小模型也能处理 32K 上下文
4 min read
IBM 发布两款基于 ModernBERT 的多语言嵌入模型，覆盖 200+ 语言，支持 32K 上下文，97M 参数版本在 MTEB 多语言检索上超越所有同类开源模型，Apache 2.0 许可降低了企业应用门槛。
# EMO：让 MoE 模型的专家真正模块化，仅用 12.5% 参数即可保持性能
4 min read
艾伦人工智能研究院发布 EMO 预训练方法，使混合专家模型中的专家自动形成语义模块，无需人工定义领域。仅用 12.5% 的专家即可达到接近全模型性能，为稀疏激活的实用化开辟新路。