跳至正文
原文导读 · 原标题中译

RoboDuo:通过代码为视觉-语言-动作模型实现尝试、检查与原子化恢复

RoboDuo: Attempt, Check and Atomic Recovery through Code for Vision-Language-Action Models

材料发布 2026-10-25 · arXiv · 作者论文 · 核查 2026-10-30
图 2:RoboDuo 架构:生成的程序分派两个 VLA(视觉-语言-动作)策略。给定指令与当前观测,编码智能体(coding agent)编写一个两层程序。第 1 层用 π_full 进行一次完整任务尝试;若 is_task_complete 返回 false,第 2 层则用 π_atomic 执行原子化计划,每个步骤最多重试三次,直到其目标得到验证。两个策略都保持冻结,因此同一程序无需重训练即可包装 X-VLA 与 π_0.5。底行展示一次 LIBERO-Goal-Swap(目标替换)任务的执行过程:完整任务尝试失败后,原子化 VLA 抓起碗并将其放入抽屉。 图片出处
图 3:LIBERO-Atomic 的构建。产业界视觉语言模型(VLM)为每条 LIBERO 演示标注一个有序的原子动词列表及相应时间窗。基于规则的后处理清洗这些标注,并把每段片段重新剪切到其效果完成为止。每条演示产出带原子 VLA 指令的原子片段,以及由相同调用构成的 Python 程序,后者被打包为 LIBERO-Code 供编码智能体使用。 图片出处

内容摘要

视觉-语言-动作模型(VLA,把语言指令与当前观测直接映射为动作的策略)执行时不检查指令是否已完成:长程任务里一次抓取滑落,策略仍沿原轨迹继续,剩余步骤作废。作者指出这类失败回合常停在“部分完成”,未做完的步骤正是演示中反复出现的可复用原子技能,可以接续恢复。

RoboDuo 用代码作编排接口:编码智能体在回合开始写出程序,先让冻结权重的全任务 VLA 尝试一次原指令,用 is_task_complete 判断是否完成;失败则把剩余步骤改写为原子指令,交给冻结的原子 VLA 执行,每步最多重试三次,控制权不交回全任务策略。原子 VLA、编码智能体和完成检查分别用同一套 LIBERO 演示构建的 LIBERO-Atomic、LIBERO-Code、LIBERO-Judge 训练。

LIBERO 四套件训练下,X-VLA 平均成功率 95.25%→96.40%,π0.5 97.25%→98.40%,增益集中在长程套件(87.4%→91.6%、93.6%→96.2%);LIBERO-PRO 位置与任务扰动下,π0.5 平均成功率 32.05%→39.33%,Object-T 由 25.2% 升到 55.8%;真机双臂 AgileX Piper 摆水果三个布局,成功回合 11/30→16/30。

限制:模型冻结使方法补不出两者都不会的技能,收益受完成检查准确率约束;真机每布局仅 10 次试验,作者称为指示性而非结论性;LIBERO-PRO 作者行以 BDDL:language 条件化,与官方榜单的文件名提示协议不同,不可跨协议排名;数据均为作者自评,本次材料未含独立复现。

点评

对机器人本体与控制栈工程师,RoboDuo 是一条“不动现有策略权重”的补救路线:把“尝试—判定—恢复”写成一段程序,让长程任务在一次滑落后仍可由原子技能收尾,而不是整回合作废。代价是要额外训练一个只吃短技能的原子 VLA 和一个完成检查模型,且原子指令必须落在演示数据已有的技能段内,因此这套数据资产与演示绑定;能回收多少,取决于基础策略原本已经会多少——论文也明确指出,它无法恢复两个策略都不会的技能,收益上限受完成检查准确率约束。

全部数字来自作者自评的仿真与真机实验:LIBERO-PRO 的作者行使用 BDDL:language 字段条件化,与官方排行榜的文件名提示协议不同,跨协议不能排名;表格上半部分为相关论文已发表数字、作者并未重跑;真机每布局仅 10 次试验,作者称其“指示性而非结论性”;两个 VLA 冻结使方法无法补出两者都不会的技能,收益受完成检查准确率限制;本次材料仅为该 arXiv 预印本的首个版本全文,未包含独立复现或后续版本。

版本与核查范围

版本 2610.34108v1 · 原文定位与程序检查、独立上下文模型复核;不代表独立研究复现。。依据已核查材料整理;未运行模型或机器人。

原文与定位

  • 原文链接 #abstract1.1;#abstract1.1;#abstract1.1;#abstract1.1;#S1.p4.1;#S1.I1.i2.p1.1;#S4.SS1.SSS0.Px2.p2.1;#S1.p5.1;#S4.SS2.SSS0.Px1.p1.1;#S4.SS4.SSS0.Px2.p1.1;#S4.SS4.SSS0.Px1.p1.1;#S5.p3.1