背景

物理AI——即能够理解、交互并决策于真实物理世界的AI系统——正成为人工智能的下一个前沿。无论是机器人操控、自动驾驶，还是智能空间管理，都需要模型不仅识别像素和文本，更要理解运动、因果、物理规律和行动后果。然而，长期以来，开发物理AI系统需要拼凑多个专门模型：一个生成虚拟世界，一个推理物理属性，另一个生成控制策略。这种碎片化架构带来了高昂的集成成本、推理延迟和一致性难题。

2026年6月1日，NVIDIA在Hugging Face上发布了Cosmos 3，一款全新的世界基础模型（World Foundation Model），首次将世界生成、物理推理和行动生成统一到一个单一的全模态模型中。这一发布标志着物理AI基础模型从“多模型协同”迈入“单模型全能”时代。

核心内容分析

全模态统一架构

Cosmos 3 最根本的变化在于其混合变换器（Mixture-of-Transformers, MoT）架构。与之前版本需要分别使用Cosmos Predict（世界生成）、Cosmos Transfer（受控生成）、Cosmos Reason（场景理解）和Cosmos Policy（策略生成）不同，Cosmos 3 在一个模型中统一处理文本、图像、视频、音频和行动（action）等所有模态。这意味着用户只需一次前向传播即可获得逼真的视频世界、物理推理结果和行动序列。

三大核心能力

Cosmos 3 支持三大类任务：

1. 世界生成：根据文本、图像、视频或行动输入，生成真实且物理合理的视频世界。
2. 物理推理：推理运动、因果关系和空间关系等物理属性。
3. 未来预测：基于当前状态预测未来的视频和行动序列。

例如，在机器人“取放”任务中，Cosmos 3 可以生成目标物体的抓取视频；在自动驾驶场景中，可生成长尾驾驶案例；在仓库安全中，可实现图像到视频的生成以合成训练数据。此外，它还支持链式思维推理，用于自动驾驶决策解释。

开放生态发布

本次发布包含多个开源组件：

• Cosmos 3 Super 和 Cosmos 3 Nano 模型权重及模型卡（Hugging Face）
• Cosmos 3 Diffusers 集成，方便接入已有生成管线
• 后训练脚本（GitHub），支持用户在自己的数据上微调
• 开放合成数据生成数据集，用于物理AI

这种开放策略旨在降低物理AI的研究门槛，让更多开发者能够基于世界基础模型进行创新。

行业影响与专业点评

Cosmos 3 的发布具有多重意义。首先，统一模型减少了系统复杂性。过去需要多个模型串联的物理AI管线，现在可以简化为单一模型的端到端推理，这既降低了延迟也提高了可维护性。其次，全模态能力拓展了应用边界。从模拟训练到策略生成，Cosmos 3 为机器人、自动驾驶、工业自动化等提供了统一的基座。最后，开源策略加速了生态建设。通过Hugging Face和GitHub提供模型、工具和数据集，NVIDIA正在推动物理AI领域的开放研究，有助于吸引更多学术和工业力量加入。

当然，当前版本仍处于早期阶段，其物理推理的准确性和生成视频的保真度尚需更多验证。但Cosmos 3 无疑为物理AI基础模型树立了一个重要里程碑，预示着未来AI系统将更自然地理解并作用于我们所在的物理世界。

---

来源