# Ettin Reranker家族:六款模型让检索排序迈向新高度
6 min read
Hugging Face发布基于Ettin ModernBERT的六款重排序模型,覆盖17M至1B参数,在MTEB检索榜单上达到同尺寸最优,并开源训练方案推动RAG技术发展。
Hugging Face发布基于Ettin ModernBERT的六款重排序模型,覆盖17M至1B参数,在MTEB检索榜单上达到同尺寸最优,并开源训练方案推动RAG技术发展。
PaddleOCR 3.5 发布,支持 Hugging Face Transformers 作为推理后端,使 PP-OCRv5 和 PaddleOCR-VL 1.5 等模型能无缝融入基于 Transformers 的文档 AI 工作流。
ServiceNow 团队在将 RL 训练从 vLLM V0 迁移到 V1 时发现 logprob 差异影响训练动态,通过修复四个关键点实现后端一致性,为在线 RL 系统迁移提供宝贵经验。
Hugging Face团队提出异步连续批处理技术,通过分离CPU和GPU的工作负载消除空闲等待,将LLM推理效率提升近25%,并详细分析了实现方案。
连续批处理虽然提升了 LLM 推理的 GPU 利用率,但同步模式仍存在 CPU-GPU 串行间隙。Hugging Face 团队提出异步批处理方法,通过解耦批次准备与计算,可消除近 25% 的空闲时间,显著降低推理成本。
ServiceNow AI 团队在迁移 vLLM 推理引擎时发现四个导致训练指标偏离的关键问题:logprob 语义差异、运行时默认值、权重更新路径及 fp32 精度。通过逐一修复实现了后端一致性,强调 RL 训练中 engine 行为正确优先于算法改进。