内容摘要
实时机器人控制需要视觉历史判断运动与任务进度,但处理历史也可能拖慢响应。作者提出Long-WAM模型—系统框架,研究如何在实时约束下利用更长上下文,强调“能访问历史”不等于“能利用历史”。
方法先用无动作标签的机器人及第一视角视频进行自回归预训练,再在动作适配中保留历史到未来的因果结构。推理采用先预测、后行动:预测未来视觉潜变量,再据历史与预测生成动作,不将未来潜变量解码为像素;部署结合流式VAE编码、异步执行与硬件优化。
作者报告,RoboCasa GR-1中,历史从0.0秒增至19.2秒,成功率由63.3%升至78.7%,双向预训练初始化则无净增益;LIBERO-Long加入2.4秒历史后,由94.5%升至99.5%。G1在3厘米/秒移动杯堆叠条件下成功19次,共20次试验,两种对照均未成功。
速度收益有条件:RTX 5090上,2.4秒历史的动作块推理耗时107.4毫秒,19.2秒历史则为341.0毫秒,不能将短上下文时延套用于长上下文结果。
点评
作者结果支持将预测预训练、历史窗口和执行预算联合设计,而非仅扩大记忆容量;不宜据此外推通用机器人能力。
证据为作者论文,非独立复现。各历史窗口分别训练,真机上下文长度研究仍属后续工作;时延排除预处理、文本编码及控制器/进程间通信开销。GR-1的2.4秒成功率存在表文不一致。
版本与核查范围
版本 2610.10528v1 · 原文定位与程序检查、独立上下文模型复核;不代表独立研究复现。。依据已核查材料整理;未运行模型或机器人。
原文与定位
- 原文链接 #abstract1.1;#abstract1.1;#A6.p1.1;#S3.SS2.SSS0.Px2.p1.1;figcaption[5];#abstract1.1;#S5.SS3.SSS0.Px1.p1.1;#S6.SS1.SSS0.Px1.p1.1;#A7.p1.1;#A1.p1.1;#A1.p3.1;#A6.SS0.SSS0.Px1.p1.1
