内容摘要
这篇作者论文区分指定“做什么”的任务指令与指定“如何执行”的方式指令,在 SIMPLER 的 WidowX 任务上诊断五类 VLA。离线实验比较换种子重试、追加生成的纠正及反向纠正:各模型均以重试恢复最多失败回合,生成的纠正未明确优于反向纠正,不能预设其全部正确。在线统一模式在每次监测时提供子步骤指令,使所有受测模型的任务成功率下降。作者假设,每回合固定任务指令的监督结构限制了方式指令遵循,因此保持演示不变,加入分段运动描述,并设置相同训练协议的原始指令对照。
在筛选出的、纠正与反向纠正所提方向轴均明确反转的失败回合中,丰富指令模型的方向响应率为 84.4%(840 回合),公开模型为 53.5%(581 回合),对照为 52.7%(896 回合)。该指标比较两条轨迹的相对位置,不代表完整纠正执行率,任务成功率也未一致提高。作者另提出 SIMPLER-IN,将路径、抓取部位和放置位置的必要条件仅通过语言给出;受测模型仍未可靠遵循,所得响应未迁移至严格或分布外要求。结论限于单一本体、仿真器与训练数据组合下的短时程抓放任务。
点评
研究提示应将动作对语言内容的响应与任务完成率分开评估;SIMPLER-IN 提供了检验必要语言条件是否被执行的测试场景。这是作者论文中的诊断与实验结果,不作为独立复现结论。
实验仅覆盖 WidowX、SIMPLER 与 BridgeData V2 组合下的短时程抓放任务。方向响应指标仅针对筛选后的失败回合,衡量纠正相对反向纠正的方向性轨迹差异,不代表整条纠正被遵循。错误指令可能解释部分失败;实验未分离分段时间对齐与方式内容的贡献,训练预算与 LoRA 设置也限制外推。Path 使用观测中不可见的障碍,应理解为方式指令遵循测试,而非真实操作能力评估。
版本与核查范围
版本 2610.21251v1 · 原文定位与程序检查、独立上下文模型复核;不代表独立研究复现。。依据已核查材料整理;未运行模型或机器人。
原文与定位
- 原文链接 #S1.p2.1;#S4.p1.1;#S4.SS1.p2.1;#S4.SS3.p2.1;#S4.SS1.p1.1;#S4.SS2.p2.1;#S4.SS3.p3.1;#S5.SS1.p1.1;#S1.p6.1;#S5.SS2.p2.1;#A2.SS4.p1.1;#A2.T11.2
