内容摘要
世界动作模型在推理时生成未来观测,会增加控制延迟;直接取消这一过程又可能损失泛化表现。作者提出LAWA,将未来想象转移到紧凑的潜在动作空间,而非重建未来画面。
其分词器通过无动作标签的机器人与第一视角视频预训练,并用掩码监督强化对交互区域的关注。策略训练后,推理阶段移除未来视频分支,联合去噪潜在意图与可执行动作块;潜在意图实际是在离散码本目标约束下演化的连续状态,而非逐步输出离散代码。
作者报告,在RoboCasa使用10%训练轨迹和全量数据时,LAWA平均成功率分别为65.6%和80.8%,比作者匹配实现的Fast-WAM高9.6和4.5个百分点。在单张NVIDIA A800上,每个动作块推理耗时338.5毫秒,相比Joint-WAM降低42.9%且成功率相当,但仍慢于Fast-WAM的196.5毫秒。
这些结果来自作者实验。比较共享下游数据划分及优化设置,但不等参数量或分支结构;作者还指出,没有第一视角预训练时,LAWA尚不及Joint-WAM。
点评
这项工作为保留未来表征而不生成未来画面提供了一种性能与延迟折中路线,并不意味着潜在动作预测在所有条件下都优于显式观测预测。
证据为作者论文实验,不应视为独立复现;优势依赖所述预训练与比较设置。材料仅承诺将发布代码和模型,不能据此认定已经工程开放。
版本与核查范围
版本 2608.24882v2 · 原文定位与程序检查、独立上下文模型复核;不代表独立研究复现。。依据已核查材料整理;未运行模型或机器人。
原文与定位
- 原文链接 h1[1];#abstract1.1;#S1.p3.1;#S1.p4.1;#S3.SS2.p1.1;#S1.p5.1;figcaption[79];#S4.SS3.SSS0.Px4.p1.1;#S4.SS1.SSS0.Px3.p1.1;#S4.SS3.SSS0.Px2.p1.1;#abstract1.1;#abstract1.1
