Table of Contents
背景
计算机视觉在感知运动方面已经取得了显著进展：给定一段视频，现代模型可以高置信度地追踪物体和点的运动轨迹。然而，感知本质上是回顾性的——它解释已经发生的运动。许多系统和应用需要的是“前瞻性”能力：机器人抓取杯子前需要预判杯子的移动；视频生成器需要知道下一帧合理的物理运动。预测运动比观测运动更难，但在许多场景下更有价值。
2026年6月，艾伦人工智能研究所（AI2）发布了MolmoMotion，一个革命性的语言引导3D运动预测模型。与仅从视频学习运动的方法不同，MolmoMotion接受视频帧、物体上标记的3D点以及书写的动作指令（例如“移动并旋转桌上的木碗，碗里有水果”），然后预测这些点在接下来几秒内3D空间中的轨迹。同时，他们开源了包含116万视频片段的大规模数据集MolmoMotion-1M以及人工验证的基准PointMotionBench。
核心内容分析
为什么选择3D点轨迹表示？
MolmoMotion的设计原则是通用性和效率。它使用“附着在物体上的3D世界空间点”来表示运动，而不是生成完整视频。这种表示具有三个关键性质：
- 类别无关：不依赖特定模板（如人体骨架、手部模型、刚性物体等）。无论物体是刚体、柔性体还是生物，都能统一表示。
- 视角稳定：相同的物理运动在不同视角下应具有一致的表示。3D世界空间中的点轨迹天然满足这一点，而2D像素运动则受视角变化影响。
- 信息高效：仅需跟踪稀疏的3D点即可捕捉物体级运动，计算成本远低于体素或网格表示。
模型架构与训练
MolmoMotion基于多模态Transformer架构，输入包括：RGB图像帧、一组查询点的初始3D坐标（由物体检测和点标注获得）、以及自然语言动作描述。模型输出为每个查询点在未来的3D轨迹，通常覆盖2-3秒的区间。训练数据来自MolmoMotion-1M，该数据集从116万段视频中提取了160万条轨迹-动作对，每段视频都包含人工标注的动作描述。
为了评估预测准确性，AI2构建了PointMotionBench，包含2700个视频片段，由人工验证标注质量。基准测试关注三个指标：最终位置误差（Final Position Error）、轨迹平滑度（Trajectory Smoothness）和语义一致性（Semantic Consistency，即预测运动是否符合动作描述）。MolmoMotion在所有指标上显著优于现有方法，例如在最终位置误差上降低约40%。
下游应用
MolmoMotion不仅是一个独立模型，还能驱动多种下游任务：
- 机器人规划：预测物体运动后可规划抓取或避开轨迹。
- 条件视频生成：将预测的3D点轨迹作为条件，生成未来帧的视频，确保运动物理合理。
- 人机交互：理解用户语言指令并预测物体响应，提升交互自然度。
行业影响与专业点评
MolmoMotion代表了从“感知”到“预测”的关键一步。在具身智能和机器人领域，运动预测是实现安全、灵巧操作的基础。传统方法通常针对特定物体类别或场景设计，而MolmoMotion的类别无关、语言引导特性使其具有更强的泛化能力。
更重要的是，该研究的开放程度树立了标杆。不仅开源模型权重，还公开了最大规模的3D运动轨迹数据集和标准化基准。这将极大促进该领域的研究进展。对于机器人公司而言，MolmoMotion可以直接集成到规划管线中，降低对专用运动模型的依赖。
然而，挑战依然存在。当前模型对复杂交互（如多个物体的相互运动）和长时间预测（超过3秒）的鲁棒性尚未验证。此外，点轨迹的稀疏表示可能丢失细节，如物体内部形变。未来可以结合稠密运动场或神经辐射场等技术。
从更宏观的视角看，MolmoMotion是AI从“理解世界”迈向“预见世界”的一个里程碑。当机器不仅能识别“发生了什么”，还能预测“将要发生什么”，我们离真正自主的智能系统就更近了一步。
