跳至正文
原文导读 · 原标题中译

VLA 真的遵循指令吗?诊断视觉—语言—动作模型对“如何执行”指令的遵循能力

Do VLAs Really Follow Instructions? Diagnosing How-Level Instruction Following in Vision-Language-Action Models

材料发布 2026-10-15 · arXiv · 作者论文 · 核查 2026-10-18
图 1:研究总览。(a、b)诊断显示,VLA 尚未明确遵循“如何执行”的方式指令;(c)展示补充细节后的指令示例。 图片出处
图 3:SIMPLER-IN 总览。(a)任务及其条件、指令示例;(b)路径任务中标出障碍物的场景(左)与实际观测(右)。 图片出处

内容摘要

这篇作者论文区分指定“做什么”的任务指令与指定“如何执行”的方式指令,在 SIMPLER 的 WidowX 任务上诊断五类 VLA。离线实验比较换种子重试、追加生成的纠正及反向纠正:各模型均以重试恢复最多失败回合,生成的纠正未明确优于反向纠正,不能预设其全部正确。在线统一模式在每次监测时提供子步骤指令,使所有受测模型的任务成功率下降。作者假设,每回合固定任务指令的监督结构限制了方式指令遵循,因此保持演示不变,加入分段运动描述,并设置相同训练协议的原始指令对照。

在筛选出的、纠正与反向纠正所提方向轴均明确反转的失败回合中,丰富指令模型的方向响应率为 84.4%(840 回合),公开模型为 53.5%(581 回合),对照为 52.7%(896 回合)。该指标比较两条轨迹的相对位置,不代表完整纠正执行率,任务成功率也未一致提高。作者另提出 SIMPLER-IN,将路径、抓取部位和放置位置的必要条件仅通过语言给出;受测模型仍未可靠遵循,所得响应未迁移至严格或分布外要求。结论限于单一本体、仿真器与训练数据组合下的短时程抓放任务。

点评

研究提示应将动作对语言内容的响应与任务完成率分开评估;SIMPLER-IN 提供了检验必要语言条件是否被执行的测试场景。这是作者论文中的诊断与实验结果,不作为独立复现结论。

实验仅覆盖 WidowX、SIMPLER 与 BridgeData V2 组合下的短时程抓放任务。方向响应指标仅针对筛选后的失败回合,衡量纠正相对反向纠正的方向性轨迹差异,不代表整条纠正被遵循。错误指令可能解释部分失败;实验未分离分段时间对齐与方式内容的贡献,训练预算与 LoRA 设置也限制外推。Path 使用观测中不可见的障碍,应理解为方式指令遵循测试,而非真实操作能力评估。

版本与核查范围

版本 2610.21251v1 · 原文定位与程序检查、独立上下文模型复核;不代表独立研究复现。。依据已核查材料整理;未运行模型或机器人。

原文与定位

  • 原文链接 #S1.p2.1;#S4.p1.1;#S4.SS1.p2.1;#S4.SS3.p2.1;#S4.SS1.p1.1;#S4.SS2.p2.1;#S4.SS3.p3.1;#S5.SS1.p1.1;#S1.p6.1;#S5.SS2.p2.1;#A2.SS4.p1.1;#A2.T11.2