Table of Contents
背景
物理 AI（Physical AI）旨在让 AI 理解并与真实物理世界交互，涵盖机器人、自动驾驶和工业自动化等领域。传统方法需要组合多个独立模型——世界生成器、场景理解模型、策略网络等——导致系统复杂且推理效率低下。2026 年 6 月 1 日，NVIDIA 在 Hugging Face 上发布了 Cosmos 3，一个基于 Mixture-of-Transformers（MoT）架构的开放 omni-model，首次将世界生成、物理推理和动作生成融合进单一模型，实现统一的前向传播。
核心内容分析
架构飞跃：从多模型到单模型
Cosmos 3 的核心创新在于其“通模型”设计。此前，开发者在 Cosmos 框架中需要使用不同的模型：Cosmos Predict 用于世界生成、Cosmos Transfer 用于受控生成、Cosmos Reason 用于场景理解、Cosmos Policy 用于策略生成。Cosmos 3 通过 MoT 骨干网络，将文本、图像、视频、音频和动作等所有模态的输入统一处理，在一次前向传播中同时完成生成、推理和动作预测。
这种设计极大简化了物理 AI 系统的开发流程。开发者不再需要维护多条推理管线，一个模型即可完成从视频生成到因果推理、再到未来动作预测的全套任务。
能力范围
Cosmos 3 提供以下三类核心能力：
- 世界生成：从文本、图像、视频或动作输入生成逼真且物理合理的视频世界。
- 物理推理：理解运动、因果关系和空间关系等物理属性。
- 动作预测：基于当前状态预测未来的视频和动作序列。
NVIDIA 展示了多个示例：机器人抓取与放置任务的视频生成、自动驾驶领域的长尾场景模拟、仓库安全的图像到视频生成（用于合成训练数据），以及链式思维推理在自动驾驶中的应用。这些示例表明 Cosmos 3 能够为物理 AI 提供统一的基础。
开放性与生态
此次发布包括 Cosmos 3 Super 和 Nano 两个版本（规模参数未在原文中明确），模型卡和许可信息均可在 Hugging Face 获取。NVIDIA 同时提供了 Diffusers 集成（用于生成管线）、GitHub 上的后训练脚本（支持用户在自己的数据上微调），以及开放合成数据生成（SDG）数据集，旨在降低物理 AI 数据获取的门槛。
行业影响/专业点评
Cosmos 3 的发布是物理 AI 领域的一个重要里程碑。它将过去碎片化的模型体系整合为一个易于使用的基础模型，有望大幅降低机器人、自动驾驶和智能空间等场景的研发成本。对于初创公司而言，可以直接基于 Cosmos 3 构建应用，而无需从零开始训练多个模型。
然而，物理 AI 模型的安全性和可靠性是行业关注的焦点。Cosmos 3 生成的世界是否完全遵循物理规律？在关键任务中的应用如何确保一致性？NVIDIA 需要提供更多验证和基准。此外，大规模视频生成和推理对算力的需求依然很高，模型的实际部署效率有待社区测试。
总体而言，Cosmos 3 代表了开放物理 AI 模型的最新水平，其统一架构设计很可能成为后续研究的标准范式。
