内容摘要
在按机器人指令生成操作视频、按相机轨迹生成探索画面时,流式世界模型会把先前生成的画面继续作为输入;短片段训练留下的预测误差因此不断累积,出现纹理破坏或画面变黑。作者提出弗雷歇强制,改变微调时的监督方式,目标是让短视频训练出的模型持续生成更长、仍响应动作的视频。
方法将模型与部署时使用的采样器一同微调,不改模型架构或采样器。训练同时约束三件事:用含自身预测误差、但以真实片段结尾的历史学习后续生成;用弗雷歇距离衡量生成与真实数据的统计差异,分别保持原场景特征和画面真实感。训练不需要教师模型、在线判别网络或长视频。
作者在机器人操作数据集DROID和相机控制探索数据集Sekai上,用381帧片段、至多36个图形处理器小时微调MiniWorld-1B,报告生成在超过4,000帧后仍保持稳定并响应动作。DROID末段相对回放参考的峰值信噪比,即图像保真度指标,为21.5分贝,基础模型为8.9分贝。
这些是作者的视频生成实验,不是真机任务成功率;DROID长程参考由片段正反向回放构造,并非连续实录。
点评
对动作条件视频模拟器开发者,这提供了一条保留现有架构和采样器、通过短片段微调抑制长程视觉漂移的路线,而非新增机器人控制策略。
验证仅覆盖两个领域和一种模型规模;DROID评测片段参与过预训练,回放参考也只是近似。总体统计稳定不代表每条视频无瑕疵:作者人工检查中,4,000帧时无可见伪影的DROID生成序列占79%;方法也不保证久后重访场景仍一致。
版本与核查范围
版本 2610.25666v1 · 原文定位与程序检查、独立上下文模型复核;不代表独立研究复现。。依据已核查材料整理;未运行模型或机器人。
原文与定位
- 原文链接 #S1.p1.1;#S3.SS1.p1.1;#abstract1.1;#S3.SS3.SSS0.Px1.p1.1;#abstract1.1;#S4.SS1.SSS0.Px5.p1.1;#S4.SS3.p1.1;#S4.SS1.SSS0.Px4.p1.1;#S4.SS1.SSS0.Px4.p1.1;#S6.p1.1;#S4.SS2.SSS0.Px3.p1.1;#S6.p1.1
