内容摘要
机器人要执行训练集之外的新任务,往往拿不到带动作标注的示范,这就是"任务泛化"的难点。论文把它拆成两层:视频泛化预测新任务在画面里如何展开,动作泛化把预测变成可执行动作,中间的"视频到动作的桥"承担逆动力学模型(由观测反推动作)的角色。在 RoboTwin 2.0 上只用分布内数据时,分布外成功率 25.07%;加入这批任务的视频但不给动作标注,升到 55.90%;每个任务再补 1 条动作标注示范,升到 70.70%,补 5 条时为 84.67%。视频覆盖决定"能想象哪些任务",极少量动作标注决定"能否把想象变成控制"。
WorldBridge 是世界动作模型(WAM,同时预测未来画面与机器人动作的模型):视频分支与动作分支参数分开、经联合自注意力互联,并用分阶段注意力掩码把通路固定为"记忆与当前帧→未来画面→动作"。本体开发可直接借用的是统一 46 维动作表示加逐维有效掩码,机器人轨迹与第一人称人手数据可混训,换本体只需加输入输出适配器。
作者自报:清洗后语料 3,381,561 段、22,321.21 小时;RoboTwin 2.0 全数据 96.23%、仅干净场景数据 80.9%,RoboCasa GR1 TableTop 82.8%,DOMINO Level-1 57.6%;真机在 G2 与 AC-1 上平均 72.5%,去掉联合视频—动作预训练降到 46.7%。部署上把视频去噪从十步压到一步,配合编译与 CUDA Graph 回放,中位模型调用延迟从 957.2 ms 降到 103.9 ms。数字均为作者自报,"最优"只在所比较方法之间成立,本次材料未见独立复现。
点评
对机器人本体软件工程师有三点可迁移:一是"先铺视频覆盖、再补极少量动作标注"的分工,给出了数据采集预算的分配依据——每个新任务只补 1 条动作标注示范,就把分布外成功率从 55.90% 抬到 70.70%(补 5 条为 84.67%);二是统一动作表示加逐维有效掩码、换平台接输入输出适配器,是把多本体、多来源数据并进同一个动作专家的工程模板;三是解耦去噪(视频十步压到一步)、算子融合编译与 CUDA Graph 回放的延迟优化路径,可直接复用到自研策略的部署链路。
全部结果为作者在 arXiv 预印本中的自报,本次材料未见独立复现;摘要中的"最优"仅限论文所比较的方法,表中部分对比条目取自官方排行榜快照,基线版本可能与其他表格不一致;真机结果来自作者自建任务集,与公开仿真基准协议不同,不能直接互相比较;预训练语料与算力规模大(清洗后 22,321.21 小时数据),中小团队难以复现。
版本与核查范围
版本 2610.40748v2 · 原文定位与程序检查、独立上下文模型复核;不代表独立研究复现。。依据已核查材料整理;未运行模型或机器人。
原文与定位
- 原文链接 #S1.p4.1;#S3.T2.5;#S2.SS1.SSS1.p1.1;#S2.SS1.SSS4.p2.1;#S2.SS3.SSS2.p1.1;#S3.SS3.SSS0.Px3.p1.1;#S2.SS3.SSS1.Px3.p2.1;#abstract1.1;#S3.SS3.SSS0.Px2.p1.1;#S3.SS3.SSS0.Px4.p1.1;#S3.SS3.SSS0.Px6.p1.1;figcaption[148]
