Table of Contents
背景
理解运动是机器视觉的核心能力之一。现代模型已能相当准确地通过视频跟踪物体和点的运动，但这种感知本质上是回顾性的——它描述已经发生的运动。而在许多实际应用场景中，机器需要的是“前瞻”：一个准备抓取杯子的机器人必须在触摸之前预判杯子的移动方式；一个视频生成器必须知晓合理的下一步运动才能生成物理上可信的帧。预测运动比观测运动困难得多，但在机器人、自动驾驶、视频生成等领域却极具价值。
2026年6月17日，艾伦人工智能研究所（AI2）发布了MolmoMotion，一种全新的语言引导3D运动预测模型。面对一张视频帧、物体上标记的3D点以及描述预期动作的文字指令（例如“移动并旋转桌上装有水果的木碗”），MolmoMotion能够预测这些点在接下来几秒内的3D空间轨迹，其性能显著优于现有预测方法。
核心内容分析
模型设计：高效且通用的运动表征
MolmoMotion采用了一种精心设计的运动表征：以物体为参考系的3D点（object-attached 3D points in world space）。这种表征具备三大特性：
- 类别无关性：不依赖于人体、手部、刚体或任何固定类别的模板，具有通用性。
- 视图稳定性：相同的物理运动应具有一致的表征，不受观察视角影响。
- 计算高效：只预测稀疏的3D点轨迹，而非渲染完整的视频帧，大幅降低计算成本。
模型以RGB图像为输入，结合用户指定的查询点集和动作描述，输出这些点的未来3D轨迹。这些预测轨迹可直接驱动下游应用，如机器人规划，或用作条件控制视频生成。
配套资源：MolmoMotion-1M与PointMotionBench
与模型一同发布的还有大型数据集和基准：
- MolmoMotion-1M：目前最大的3D点轨迹与动作描述配对数据集，源自116万段视频，覆盖多种物体和动作类型。
- PointMotionBench：人工验证的基准，专门用于评估以物体为中心的3D运动预测精度，包含2700个视频片段。
这两个资源的开放将极大推动该领域的研究，使其他团队能够在统一框架下比较方法并训练自己的模型。
性能与适用场景
官方技术报告显示，MolmoMotion在点轨迹预测的精度上大幅超越现有方法。更关键的是，其在多个下游任务中展现出实际效用：
- 机器人规划：为操作任务提供未来物体状态的预测，使机器人能够提前调整动作，提升抓取和操纵的成功率。
- 可控视频生成：将预测的轨迹作为条件输入，生成符合物理规律的连续视频帧，避免常见的不自然变形。
所有的模型权重、数据集和基准均已在Hugging Face上以开放许可发布。
行业影响/专业点评
MolmoMotion的出现填补了从“感知运动”到“预测运动”之间的关键缺口。以往的运动预测模型往往局限于特定类别（如人体姿态或刚体运动），或需要密集的3D重建。MolmoMotion以语言指令作为引导，结合稀疏点云和RGB图像，开辟了一条更具可扩展性和实用性的路径。
对于机器人领域而言，这种语言引导的运动预测能力意味着机器人可以理解自然语言指令中的物体操作意图，并实时调整行为。对于视频生成领域，它提供了一种物理先验，使生成内容更加真实自然。同时，MolmoMotion-1M和PointMotionBench的公开，将吸引更多研究者投身于这一方向，加速从实验室到实际应用的转化。
未来，随着模型对更复杂场景、更长时间跨度的预测能力的提升，我们有望看到机器在动态环境中真正实现“预见性行动”。
