Table of Contents
背景
在AI系统日益复杂的今天，路由、检索、摘要、规划、验证和工具调用等子任务往往需要多次模型调用，这些操作对延迟敏感且不一定需要最大模型。JetBrains此前推出的Mellum专注于代码补全，而Mellum2则在此基础上面向更广泛的自然语言和软件工程任务，强调高效推理和易部署性。
核心内容分析
Mellum2是一个12B参数的混合专家（MoE）模型，每个token仅激活2.5B参数，在保证高模型容量的同时大幅提升推理效率。该模型使用Apache 2.0许可开源，面向文本和代码模态，不包含多模态功能，这种专门化确保其在软件工程负载上的紧凑与高效。
基准测试成绩
根据技术报告，Mellum2在代码生成、推理、科学和数学基准上与类似规模的开源模型竞争力相当，但推理速度快2倍以上，非常适合高吞吐生产环境。
关键用例
- 路由与编排：作为多模型系统中的轻量级路由模型，处理提示分类、工具选择及中间控制流。
- RAG管道：适用于延迟敏感的检索管道，如上下文压缩、摘要和检索后处理。
- 子智能体：可承担规划、验证、转换和上下文准备等子任务，减少调用更大模型的需求。
架构细节
Mellum2采用MoE架构，总参数12B，每token激活2.5B。相比同参数量稠密模型，MoE在保持容量的同时降低计算成本，使其适合实时推理和私有部署。
行业影响/专业点评
Mellum2的发布填补了“中规模高效模型”市场的关键空白。在众多企业追求大模型参数量时，Mellum2证明了合理激活参数和专门化设计能带来显著性价比优势。对于代码补全、RAG管道和多智能体编排等高频调用场景，Mellum2的2倍加速直接转化为更低的延迟和成本。开源Apache 2.0许可更利于社区采用和定制。JetBrains此举或加速AI在软件开发工具链中的深度嵌入。
