跳至正文
原文导读 · 原标题中译

弗雷歇强制:用短片段训练长时域流式世界模型

Frechet Forcing: Training Long-Horizon Streaming World Models from Short Clips

材料发布 2026-10-19 · arXiv · 作者论文 · 核查 2026-10-23
图 1:从单张真实画面出发,按机器人或相机轨迹逐段生成 4,000 帧视频,上四行为两段 DROID 操作,下两行为 Sekai 场景。以 253 帧片段预训练的 MiniWorld-1B 在长程生成中失稳:DROID 在 1,000 帧内出现从机械臂扩散的饱和网格纹理,Sekai 在前 250 帧内变暗并逐渐全黑。用弗雷歇强制在 381 帧片段上微调的版本,到第 4,000 帧仍连贯,超过微调片段长度的十倍。 图片出处

内容摘要

在按机器人指令生成操作视频、按相机轨迹生成探索画面时,流式世界模型会把先前生成的画面继续作为输入;短片段训练留下的预测误差因此不断累积,出现纹理破坏或画面变黑。作者提出弗雷歇强制,改变微调时的监督方式,目标是让短视频训练出的模型持续生成更长、仍响应动作的视频。

方法将模型与部署时使用的采样器一同微调,不改模型架构或采样器。训练同时约束三件事:用含自身预测误差、但以真实片段结尾的历史学习后续生成;用弗雷歇距离衡量生成与真实数据的统计差异,分别保持原场景特征和画面真实感。训练不需要教师模型、在线判别网络或长视频。

作者在机器人操作数据集DROID和相机控制探索数据集Sekai上,用381帧片段、至多36个图形处理器小时微调MiniWorld-1B,报告生成在超过4,000帧后仍保持稳定并响应动作。DROID末段相对回放参考的峰值信噪比,即图像保真度指标,为21.5分贝,基础模型为8.9分贝。

这些是作者的视频生成实验,不是真机任务成功率;DROID长程参考由片段正反向回放构造,并非连续实录。

点评

对动作条件视频模拟器开发者,这提供了一条保留现有架构和采样器、通过短片段微调抑制长程视觉漂移的路线,而非新增机器人控制策略。

验证仅覆盖两个领域和一种模型规模;DROID评测片段参与过预训练,回放参考也只是近似。总体统计稳定不代表每条视频无瑕疵:作者人工检查中,4,000帧时无可见伪影的DROID生成序列占79%;方法也不保证久后重访场景仍一致。

版本与核查范围

版本 2610.25666v1 · 原文定位与程序检查、独立上下文模型复核;不代表独立研究复现。。依据已核查材料整理;未运行模型或机器人。

原文与定位

  • 原文链接 #S1.p1.1;#S3.SS1.p1.1;#abstract1.1;#S3.SS3.SSS0.Px1.p1.1;#abstract1.1;#S4.SS1.SSS0.Px5.p1.1;#S4.SS3.p1.1;#S4.SS1.SSS0.Px4.p1.1;#S4.SS1.SSS0.Px4.p1.1;#S6.p1.1;#S4.SS2.SSS0.Px3.p1.1;#S6.p1.1