跳至正文
原文导读 · 原标题中译

LoopWAM:利用部署轨迹闭环改进通用策略

LoopWAM: Closed-Loop Generalist Policy Improvement from Deployment Rollouts

材料发布 2026-10-15 · arXiv · 作者论文 · 核查 2026-10-18
图 2:LoopWAM 总览。混合 Transformer 架构通过双向注意力连接视频与动作分支;训练结合质量条件指令、按来源采样噪声及质量加权动作监督。专家轨迹监督两种模态,低质量轨迹保留完整世界预测监督,并按质量参与动作模仿。部署使用专家质量分数,记录的经验回流至下一轮训练。 图片出处
图 3:真机部署的闭环改进。上图为 RoboChallenge Table30-V2 上的三轮部署与训练,覆盖四种本体、30 项任务;下图为 DOS-W1 经单任务专家后训练后,在叠衬衫任务上的两轮改进。各图报告逐轮成功率与得分。 图片出处

内容摘要

作者提出闭环世界—动作模型 LoopWAM,从自身及其他已部署策略产生的成功、次优和失败轨迹中学习,而非只模仿成功行为。方法按数据来源分别采样视频与动作噪声,让部署轨迹中的低噪声动作帮助预测其视觉后果;再以质量条件引导和质量加权监督,降低对次优动作的模仿、屏蔽失败动作的直接监督,同时保留所有质量轨迹的视频监督。视频与动作令牌在同一次并行去噪中双向交互,使后果表征直接参与动作生成。训练循环将专家示范与累计部署经验合并,更新后再部署。

作者报告,在真机基准 RoboChallenge Table30-V2 上,三轮部署与训练使总体成功率从 23.67% 升至 43.33%,最终得分 56.80;在仿真基准 RoboTwin 2.0 和 RoboCasa365 上,未额外进行具身数据预训练,分别取得 94.5% 的平均成功率和 49.5% 的总体成功率。叠衬衫实验则从经过单任务专家后训练的模型出发,两轮部署改进将成功率由 13.20% 提高至 55.56%。

这些结果分别对应多任务学习与单任务后训练场景。

点评

提供一种利用混合质量交互历史的训练路径:失败轨迹仍可监督物理后果学习,而不必直接模仿其动作。

结果应按作者实验解读,不视为独立复现。榜单证据仅为评测时快照,不能代表持续排名;RoboCasa365 采用 50 任务评测,其未见组合任务成功率为 14.9%,不宜外推通用能力。

版本与核查范围

版本 2610.18873v2 · 原文定位与程序检查、独立上下文模型复核;不代表独立研究复现。。依据已核查材料整理;未运行模型或机器人。

原文与定位

  • 原文链接 #abstract1.1;#S3.SS2.p2.2;#S3.SS2.p2.3;#S1.p3.1;#S3.SS3.p1.2;#S4.SS2.p1.1;#S4.SS4.p2.1;#abstract1.1;#S4.SS4.p3.1;#S3.SS2.p4.3;#A2.p1.1;#S4.SS3.SSS0.Px3.p1.1