# EMO:预训练混合专家模型实现涌现模块化——从数据中自动学习专家分工
5 min read
艾伦人工智能研究所发布EMO模型,通过端到端预训练让混合专家结构从数据中涌现,仅用12.5%的专家即可接近全模型性能,改变了传统MoE中专家混杂的局面。
艾伦人工智能研究所发布EMO模型,通过端到端预训练让混合专家结构从数据中涌现,仅用12.5%的专家即可接近全模型性能,改变了传统MoE中专家混杂的局面。
IBM发布Granite 4.1系列密集模型(3B/8B/30B),通过五阶段预训练、4.1M高质量SFT数据和GRPO强化学习,使8B模型性能超越此前32B MoE模型,全部开源Apache 2.0。
AI2发布的EMO模型通过端到端预训练实现专家模块的自主涌现,仅用12.5%的专家即可接近全模型性能,为超大规模语言模型的高效适配和内存节省提供了全新路径。
IBM发布Granite 4.1系列(3B/8B/30B),通过五阶段预训练和强化学习,8B模型在多项指标上超越前代32B MoE,关键在数据质量。
AI2发布EMO模型,通过端到端预训练使MoE专家自动组织成模块,仅用12.5%参数即可接近全模型性能。
针对防御性安全场景,CyberSecQwen-4B 以4B参数在CTI任务上媲美8B模型,强调本地运行、数据隐私和成本优势。