# JetBrains发布Mellum2:12B参数MoE模型,推理速度提升2倍以上
3 min read
Mellum2是一款12B总参数、仅激活2.5B参数的MoE模型,针对文本和代码任务优化,推理速度比同类模型快2倍以上,Apache 2.0开源。
Mellum2是一款12B总参数、仅激活2.5B参数的MoE模型,针对文本和代码任务优化,推理速度比同类模型快2倍以上,Apache 2.0开源。
HCompany发布Holo3.1模型,提升跨环境稳健性,首次推出量化版本支持本地部署,在移动自动化等任务中取得显著进步。
NVIDIA 发布 Cosmos 3,基于 Mixture-of-Transformers 架构的 omni-model,首次将世界生成、物理推理和动作生成统一为单一模型,支持机器人、自动驾驶和智慧空间等物理 AI 应用。
JetBrains 发布 Mellum2,一个 12B 总参数、每次仅激活 2.5B 参数的 MoE 模型,专为文本和代码任务优化,推理速度比同类模型快 2 倍以上,并采用 Apache 2.0 许可开源。
IBM 研究团队指出,企业 AI 应用失败的主因是缺乏“代理逻辑”——软件原语如知识图谱和算法,这些原语可引导 LLM 遵循企业工作流,减少上下文空间和幻觉,实现可靠、可扩展的代理。
Hugging Face TRL 库引入 delta 权重同步,利用优化步骤间权重高度相似性仅传输变化部分,将7B模型每步通信从1.2GB降至20-35MB,并展示跨空间训练。