跳至正文
原文导读 · 原标题中译

时间强制:面向视觉—语言—动作模型的四维表征对齐

Temporal Forcing: 4D Representation Alignment for Vision-Language-Action Models

材料发布 2026-09-28 · arXiv · 作者论文 · 核查 2026-10-18
图 2:时序强制(Temporal Forcing)方法总览。历史通路(History Pathway)把采样得到的 K 帧历史画面汇总为历史标记(history tokens),并将其融合进 VLA(视觉-语言-动作)模型;一个流式四维基础模型(streaming 4D foundation model)处理更长的因果上下文(causal context),为时序对齐(L_temp,时序对齐损失)与当前帧对齐(L_cur,当前帧对齐损失)提供几何目标。蓝色虚线组件仅在训练阶段使用。 图片出处

内容摘要

长时程机器人操作需要利用过去的场景变化,但加入历史观测不等于有效使用历史。作者提出Temporal Forcing,针对动作监督只能间接约束历史表征的问题,直接监督模型保留的时序状态及其变化。

方法通过历史通路压缩过去观测,以门控交叉注意力注入当前图像特征;利用预训练StreamVGGT提供因果四维几何目标,进行历史状态与状态转移对齐,并补充当前帧几何对齐。四维基础模型和对齐头仅用于训练,推理保留历史通路与门控融合。

作者报告,相比StarVLA-OFT基座,LIBERO平均成功率由96.6%升至98.8%,Long由93.8%升至97.2%;RoboTwin 2.0十二项任务平均由53.5%升至62.8%。真机多阶段隐藏放置任务完整成功率由20.0%升至43.3%。受控消融显示,单加历史通路并未改善基线,收益来自与四维表征监督配合。

结果有明确条件:RoboTwin采用easy(clean)设置,每项任务用50条示范训练、测试100次;真机各模型使用相同100条示范,完整序列各测试30次。上述结果均为作者实验。

点评

这项工作支持将“提供历史输入”与“监督历史保留什么”区分开来,为历史感知VLA提供了训练期表征监督路径,而非仅扩展输入历史。

证据来自作者论文,不是独立复现;结果应限于所述基准与真机任务,不外推通用能力。材料仅承诺公开代码和真机视频,不能视为已完成工程开放。

版本与核查范围

版本 2608.30643v2 · 原文定位与程序检查、独立上下文模型复核;不代表独立研究复现。。依据已核查材料整理;未运行模型或机器人。

原文与定位

  • 原文链接 #abstract1.1;#S1.I1.i2.p1.1;#S3.SS2.p1.1;#S3.SS3.p1.1;#S1.p3.1;#S3.SS4.SSS0.Px5.p2.1;#S3.T1.6.1;#A3.SS0.SSS0.Px1.p1.1;#S4.SS4.p1.1;#S4.SS4.p2.1;#S4.SS3.SSS0.Px1.p1.1;#S4.SS1.SSS0.Px1.p1.1