跳至正文
原文导读 · 原标题中译

Spotter:让具身模型主导执行,让视觉语言模型为它复盘纠错

Spotter: Let the Embodied Model Lead, and the VLM Reflect for It

材料发布 2026-10-31 · arXiv · 作者论文 · 核查 2026-11-06
图1:同一次抓取失败之后,具身模型单独运行与配合 Spotter 时的对比(任务:将青柠从平底锅移到盘子)。抓取在第 160 步失败;到第 192 步,机械臂已朝盘子移动。单独运行时(上),模型始终未察觉,仍在复现一条成功轨迹的形态。配合 Spotter 时(下),视觉语言模型(VLM)只在机械臂已经继续动作之后才察觉到这次失败:到第 192 步,机械臂已离开平底锅。这一延迟可以被消除:修复(repair)动作将机械臂恢复到抓取失败之前的位姿,并且由于失败尝试偏在左侧,将夹爪向右移动以对准青柠。 图片出处
图3:随时间将具身模型与 VLM 结合的三种方式(方块宽度仅为示意)。(a) 具身模型单独动作。(b) VLM 主导:在每一步之前调用前沿 VLM(frontier VLM),具身模型在等待期间空转。(c) Spotter:一个更快的 VLM 并行筛查每个动作块(chunk),比执行落后一个块;在此处所示的常规路径上,连续两次被标记(flag)之后才调用前沿 VLM。当 C2 与 C3 均被标记后,评判器(judge)进行审议,同时具身模型执行 C5;只有当在 C6 处确认错误时才被打断以执行修复,随后恢复执行。为清晰起见,图中每次绘出的检查只覆盖一个动作块,且未绘出领先上限 K;实际中,一次延迟的检查会纳入所有已完成但尚未检查的动作块,因此不会丢弃任何一块。 图片出处

内容摘要

问题:机器人策略抓空之后往往毫无察觉,会照着"手里有东西"的轨迹把动作跑完。作者在 RoboCasa 的拾取放置任务上做了一组对照实验:由预言机(oracle,按模拟器判定标出失败点)在失败处中断执行,再给三次纠错机会。结果重采样、用语言说明错在哪、用恢复数据微调三种办法都几乎无效,纠正成功率不足十分之一;失败之后再靠打分器挑出成功候选同样失效。

方法:Spotter 把角色对调——具身模型持续主导执行,本地轻量筛查器逐块筛查,只把可疑片段交给并行运行的裁判(Qwen 或 GPT-6 Astra);错误确认后裁判才介入,用可枚举的运动基元(移动、抬升、旋转手腕、开合夹爪、退回位姿等)拼出修复计划,并先说出"预期看到什么",在下一个受监督窗口只做观察。修复不回滚模拟器,而是把手臂退回已记录的位姿,因此整套方法可以搬到真机。

结果:同等步数预算下,RoboCasa 上 Cosmos Policy 达 73.5%、π0.5 达 71.8%,比裸策略高 5.6 和 7.5 个百分点,增益集中在拾取放置任务(+10.3、+9.0);RoboTwin 2.0 的 Hard 档上 π0.5 从 47.2% 升到 57.0%(Qwen 裁判 51.2%);真机 Franka Research 3 三个任务平均从 53%(16/30)升到 83%(25/30)。成功的 Qwen 回合只比裸策略多 13–16 秒。分析显示,裁判介入的回合约 85% 确实是裸策略会失败的场景,单次修复纠正其中约 10%–20%。

点评

对机器人本体软件工程师,最有用的是把"发现错误"和"修好错误"分开评估:即使预言机已定位失败点,策略三次重试仍有九成修不好,失败后打分器也挑不出正确候选,所以只在策略内部加重试或采样打分指望不上,单纯把步数预算放大到 1.8 倍也只带来 1.2 和 1.8 个点。纠错逻辑可以整体放在策略之外:本地轻量筛查器负责召回,通用模型只裁决可疑片段、用可枚举的运动基元修复,再用一个"预期校验"窗口确认是否真修好;延迟代价也小——成功的 Qwen 回合只比裸策略多 13–16 秒。

可核材料只有作者自评的 arXiv 预印本正文,未见独立复现;主要结果来自仿真,真机验证只有 3 个任务、共 30 次试验(Franka Research 3),样本很小。增益集中在拾取放置,其余操作机构任务增益小得多(Cosmos Policy +3.3、π0.5 +6.7)。首次执行就把场景破坏掉的错误仍无法恢复,作者认为需要世界模型一类方法。裁判可用 Qwen 或 GPT-6 Astra,两者差距明显(RoboTwin 困难档 51.2% 对 57.0%),部署时需自行评估成本与收益。

版本与核查范围

版本 2609.36808v2 · 原文定位与程序检查、独立上下文模型复核;不代表独立研究复现。。依据已核查材料整理;未运行模型或机器人。

原文与定位

  • 原文链接 #S3.SS1.p7.1;#S3.SS1.p12.1;#abstract1.1;#S3.SS2.p3.4;#S3.SS2.p5.1;#S4.SS2.p1.1;#S4.SS2.p1.1;#S4.SS3.p1.1;#S4.SS4.p2.1;#S5.p2.2;#S6.p1.1;#S4.SS2.p1.1