内容摘要
视觉-语言-动作模型(VLA,把语言指令直接转成机械臂动作)有个上线后才暴露的盲点:指令在微调数据里缺少示范时,模型会忽略指令、改做练熟的动作、挑训练中最常见的物体,作者称之为反事实失败。只喂图像、不给语言时,OpenVLA-OFT 与 π0.5 在 LIBERO 上的平均成功率仍有 69.1% 和 51.7%;撤走场景中的训练任务物体后,反事实指令命中率 39.0%→64.4%、成功率 20.0%→40.0%。
为此作者推出 LIBERO-CF:在 LIBERO 场景布局不变的前提下换成同样可行的新指令,覆盖不同物体实例、原本只作背景的物体、长程任务以及微调时未见的分布外物体。基线在反事实指令上几乎不跟随:OpenVLA-OFT 命中率仅 4.7%、成功率 0.4%。
解法是 CAG(反事实动作引导):推理时并行走两条分支,一条吃语言、一条不吃语言,把两者动作之差放大后输出,不需要改基座架构或预训练权重。免训练版 TF-CAG 复用现有模型、不额外训练;改配独立视觉-动作(VA)模块的 VA-CAG 提升更大。π0.5 在 LIBERO-CF 上:TF-CAG 平均命中率 30.8%→40.5%,VA-CAG 到 46.3%,成功率 13.2%→21.7%;真机上 VA-CAG 平均命中率 +9.4%、成功率 +17.2%。
代价是多跑一条分支:延迟低于基线两倍、每个 15 步动作块约 130 毫秒,VA-CAG 还需另训一个只看图像的分支(8 张 H100 上 LIBERO 约 3 小时)。作者也承认,如果基座本身不具备某项技能,动作空间里的引导补不出来。
点评
对做机器人本体软件与部署的工程师,这篇把“模型到底有没有在听指令”变成一个可测项,并给出不改基座结构与预训练权重、只在推理期生效的补偿手段;代价是每次多一条推理分支,以及 VA 版本需要额外训练一个只看图像的模型。
证据只有作者自报的论文结果(arXiv v3 修订稿),滚动列表与更新目录只能反映版本和时间,不能替代原文核对,也未见独立复现。结论集中在 LIBERO 仿真与作者自建的真机场景,且基座完全不具备的技能无法靠引导补上。
版本与核查范围
版本 2602.17659v3 · 原文定位与程序检查、独立上下文模型复核;不代表独立研究复现。。依据已核查材料整理;未运行模型或机器人。
原文与定位
- 原文链接 #S1.p1.1;#S4.SS1.p2.1;#S4.SS1.p4.1;#S1.p3.1;#S6.SS1.p1.1;#abstract1.1;#abstract1.1;#S6.SS1.p2.1;#abstract1.1;#S7.SS3.p2.1;#S7.SS3.p2.1;#S8.p2.1
