Table of Contents
背景
机器人策略学习依赖大量演示数据，但采集真实机器人轨迹成本高昂且缓慢。生成式世界模型提供了一种可扩展的替代方案：通过生成合成视频来增强训练数据。NVIDIA Cosmos Predict 2.5 是一个大规模世界模型，能够基于文本、图像或视频片段生成物理合理的视频。然而，将其适配到特定领域（如机器人操作或特定相机视角）需要针对性的微调。全参数微调一个2B参数的模型不仅昂贵，还可能导致灾难性遗忘，丢失通用知识。
核心内容：LoRA/DoRA参数高效微调
为了解决上述问题，NVIDIA 团队在 Hugging Face 发布了一份详细指南，展示了如何使用 LoRA（Low-Rank Adaptation）和 DoRA（Weight-Decomposed Low-Rank Adaptation）对 Cosmos Predict 2.5 进行参数高效微调。LoRA 和 DoRA 通过在冻结的基础模型中注入小型可训练适配器模块，大幅降低内存需求，同时保持适配器文件小巧且可移植。这使得在单张 GPU 上进行微调成为可能，并且可以在推理时灵活地切换不同领域的适配器。
指南基于 diffusers 和 accelerate 库实现，支持单卡和多卡训练。训练数据来自 GR00T Dreams 后训练方案：一个包含92个机器人操作视频的训练数据集，以及50个（提示词，图像）对的测试集。微调后的模型可用于生成合成机器人轨迹，供下游机器人学习任务使用。
关键步骤包括：
- 环境准备：Python 3.10+、PyTorch 2.5+、CUDA、diffusers、accelerate、peft、wandb（可选）。至少需要一张80GB显存的GPU。
- 数据准备：使用提供的脚本下载并预处理数据集。训练集包含视频和元数据，测试集为提示词与初始帧图像对。
- 训练实现：核心代码位于
train_cosmos_predict25_lora.py，用户可根据需要调整超参数。
行业影响与专业点评
这项工作的意义在于降低了世界模型微调的门槛。机器人领域长期以来面临数据稀缺问题，而通过微调生成式世界模型合成训练数据，可以极大地扩展数据规模。LoRA/DoRA 的引入使得中小型团队也能利用现有的大规模世界模型进行领域适配，而无需昂贵的计算资源。此外，该方案还促进了模型的可复用性——不同场景只需更换轻量级的适配器，而无需重新训练整个模型。
未来，这种“基础世界模型 + 参数高效微调”的模式有望成为机器人学习的标准范式，加速从仿真到真实世界的迁移。
