Table of Contents
背景
大型语言模型通常被训练和部署为单一系统：一个模型被初始化、预训练、微调并作为一个统一实体提供服务。但应用往往只需要子集能力，如代码生成、数学推理或领域知识。随着前沿语言模型达到万亿参数，使用和适应完整模型变得不切实际，会带来不必要的计算成本和内存开销。混合专家模型（MoE）似乎是一种自然解决方案：每个层使用多个小型前馈网络（专家），只为每个输入token激活一小部分。原则上，一个只需要一种能力的任务可以只加载相关专家。
然而，在实践中，现有的MoE仍然需要完整模型才能很好地工作。即使在单个输入中，不同的token也常常激活不同的专家，因此一个任务在生成过程中可能会使用所有专家。正如论文所展示的，部分原因在于标准MoE中的专家通常专门处理低级的词汇模式（如介词或标点符号），而非高级领域或能力。因此，小部分专家无法可靠地单独使用。
核心内容分析
EMO的目标是让MoE模型的专家组织成连贯的组，这些组可以选择性地使用和组合。一种方法是在预训练期间根据预定义的语义域（如数学、生物或代码）将token路由到专家。先前的工作如BTX和FlexOlmo尝试过这种方法。然而，预定义域存在重要限制：它们需要在预训练语料库上标注域标签，这既不可靠又昂贵，而且可能会将过多的人类偏见注入模型的组织方式。更重要的是，预先固定域也就固定了模型的模块化结构：如果在推理时出现新的域或能力，就不清楚如何路由。
EMO提出了一种端到端预训练的方法，不依赖任何人类定义的先验，让模块化结构直接从数据中涌现。实验显示，使用仅12.5%的专家即可达到接近全模型性能，同时作为通用模型时，使用所有专家仍能表现强劲。EMO的专家自然地聚类成与能力相关的组，例如代码、数学、常识等，这使得模型可以更灵活地适应新任务。
技术细节
EMO的训练过程利用了路由机制的优化，鼓励专家之间的分化。论文中展示了通过可视化专家激活模式，可以看到清晰的模块边界，这与传统MoE的混乱激活模式形成鲜明对比。此外，EMO还支持在推理时动态组合专家，无需重新训练。
行业影响/专业点评
EMO的贡献在于解决了MoE长期以来的一个关键问题：专家模块化。传统的MoE虽然参数效率高，但专家之间缺乏有意义的隔离，导致无法单独或组合使用。EMO使得我们可以从预训练语言模型中提取出专用子模型，用于特定任务，大大降低部署成本。这对于资源受限的环境尤其重要。此外，模块化还带来了可解释性的提升：我们可以观察到哪些专家负责哪些能力，有助于理解和调试模型行为。这项工作为构建更灵活、更高效的大模型提供了新方向。
