跳至正文
原文导读 · 原标题中译

Long-WAM:扩展世界—动作模型的上下文

Long-WAM: Scaling the Context of World-Action Models

材料发布 2026-10-08 · arXiv · 作者论文 · 核查 2026-10-18
图1:Long-WAM 总体框架。(1) 自回归(AR)视频预训练:LongLive2.0-Robot 从约 10,000 个“窗口等效小时”(window-equivalent hours)的机器人视频与第一视角(egocentric)视频中学习预测性动力学。(2) 从因果到因果的适应:在保留视频中因果依赖关系的同时,将动作块(action chunk,即连续多步动作序列)的去噪过程以已观测历史为条件。(3) 上下文扩展:相比仅依据当前观测的控制方式,作者报告成功率在 RoboCasa GR-1 上从 63.3% 提升至 78.7%,在 LIBERO-Long 上从 94.5% 提升至 99.5%,二者分别在 19.2 秒与 2.4 秒的历史长度处达到峰值。(4) 高效部署:异步执行、流式 VAE(变分自编码器)编码、决策时预填充(prefill)、调用内 KV 缓存复用,以及面向具体硬件的加速,使实时控制可在 RTX 5090、DGX Spark 与 Jetson AGX Thor 上实现。 图片出处
图3:采用流式 VAE 的异步模型—机器人执行。两种调度使用相同的名义触发步长 S 与重叠量 O = R − S。流式 VAE(上)在观测(OBS)数据块到达时即进行编码,并满足交接截止时间 T_ready ≤ O·Δt。全窗口编码(下)会推迟交接及后续触发,累计产生机器人空闲时间。图中时间以 Δt 为单位。 图片出处

内容摘要

实时机器人控制需要视觉历史判断运动与任务进度,但处理历史也可能拖慢响应。作者提出Long-WAM模型—系统框架,研究如何在实时约束下利用更长上下文,强调“能访问历史”不等于“能利用历史”。

方法先用无动作标签的机器人及第一视角视频进行自回归预训练,再在动作适配中保留历史到未来的因果结构。推理采用先预测、后行动:预测未来视觉潜变量,再据历史与预测生成动作,不将未来潜变量解码为像素;部署结合流式VAE编码、异步执行与硬件优化。

作者报告,RoboCasa GR-1中,历史从0.0秒增至19.2秒,成功率由63.3%升至78.7%,双向预训练初始化则无净增益;LIBERO-Long加入2.4秒历史后,由94.5%升至99.5%。G1在3厘米/秒移动杯堆叠条件下成功19次,共20次试验,两种对照均未成功。

速度收益有条件:RTX 5090上,2.4秒历史的动作块推理耗时107.4毫秒,19.2秒历史则为341.0毫秒,不能将短上下文时延套用于长上下文结果。

点评

作者结果支持将预测预训练、历史窗口和执行预算联合设计,而非仅扩大记忆容量;不宜据此外推通用机器人能力。

证据为作者论文,非独立复现。各历史窗口分别训练,真机上下文长度研究仍属后续工作;时延排除预处理、文本编码及控制器/进程间通信开销。GR-1的2.4秒成功率存在表文不一致。

版本与核查范围

版本 2610.10528v1 · 原文定位与程序检查、独立上下文模型复核;不代表独立研究复现。。依据已核查材料整理;未运行模型或机器人。

原文与定位

  • 原文链接 #abstract1.1;#abstract1.1;#A6.p1.1;#S3.SS2.SSS0.Px2.p1.1;figcaption[5];#abstract1.1;#S5.SS3.SSS0.Px1.p1.1;#S6.SS1.SSS0.Px1.p1.1;#A7.p1.1;#A1.p1.1;#A1.p3.1;#A6.SS0.SSS0.Px1.p1.1