Table of Contents
背景
物理AI系统（如机器人、自动驾驶）需要理解和模拟真实世界的物理规律。此前，开发者需使用多个独立模型分别处理世界生成、场景理解、策略生成等任务，流程复杂且效率低下。NVIDIA Cosmos系列此前已推出多款模型，而Cosmos 3首次将这些能力统一到一个全模态模型（omni-model）中，专为物理AI推理与行动设计。
核心内容分析
Cosmos 3采用混合Transformer（MoT）架构，能够在单一前向过程中处理文本、图像、视频、音频和动作等多种模态。这是首个开放的全模态世界基础模型，支持以下能力：
- 世界生成：从文本、图像、视频或动作输入生成逼真且物理合理的视频世界。
- 物理推理：推理运动、因果关系和空间关系等物理属性。
- 动作预测：基于当前状态预测未来视频和动作序列。
发布内容
本次发布包括Cosmos 3 Super和Cosmos 3 Nano两个版本，托管在Hugging Face并提供模型卡和许可。同时提供了Diffusers集成、后训练脚本（GitHub）、以及用于物理AI的开放合成数据集。
应用场景
视频演示展示了Cosmos 3在机器人抓取放置、自动驾驶长尾场景和仓库安全数据生成中的应用。其链式思维推理能力可在自动驾驶中逐步分析场景。
行业影响/专业点评
Cosmos 3的“全模态”设计是物理AI领域的里程碑。它将世界生成、理解与行动整合到一个模型中，极大简化了开发流程。对于机器人训练、仿真数据生成和自动驾驶测试等任务，开发者不再需要拼凑多个推理管道。开源模型和数据集将进一步降低门槛，加速物理AI的研究与商业化。可以说，Cosmos 3为“具身智能”时代提供了一个统一的基础平台。
