内容摘要
对机器人本体软件工程师来说,一个更省事的思路是:不再为每个新场景重新采数据训策略,而是把已经训好的视觉-语言-动作(VLA)模型冻住,在测试时外挂一层引导。问题在于,VLA 预训练虽然能应付通用操作,但相机视角、场景背景、物体身份或机器人形态一变就明显掉点。
RAGu(检索增强引导)走的就是这条路线:不更新权重、也不占用模型上下文窗口,而是从与目标场景不匹配的现成演示数据(这里是 DROID 采集的真机数据)里检索出操作轨迹,先做几何变形对齐到目标场景,再在推理时用这条轨迹持续约束模型输出。
具体三步:第一,按任务类别筛出语义相关的源演示;第二,用 Grounding DINO 在目标场景中检测任务相关物体的语义边界框来定位目标路点,把源轨迹变形到目标坐标系;第三,用动态时间规整(DTW,动态时间规整)在离线阶段粗筛候选,在线再挑代价梯度范数最小的那条,也就是与模型自身先验冲突最小的一条,在流匹配去噪过程中把动作持续往这条轨迹上拉。
效果(均为作者自测):真机 5 个操作任务上,以 π0.5 为基础策略,RAGu 成功率 80%,只给稀疏目标点的视觉语言模型引导(Omniguide)为 40%,擦桌这类接触密集任务为 100% 对 30%;仿真 RoboLab 上 RAGu 25%,VLS 12%。仿真里扩大检索池也稳定有效:无引导时均值 23.6%,只用 1 条轨迹 28.4%,用 100 条 36.4%。把 7 自由度 Franka 的演示拿去引导 29 自由度 GR-1 人形机器人,100 条候选时平均成功率提高 13.6 个百分点。
需要留意:真机每个任务只有 10 次 rollout、仿真 25 次,样本偏小;作者自己复测 RoboLab 的无引导基础策略得 14.0%,低于原报告的 28.0%;方法要求源库里已有大致匹配任务类别的演示,对相机位置和遮挡并不鲁棒,引导只能在 VLA 原有先验内重塑运动。
点评
对做机器人本体软件的工程师,这是一条只改推理链路、不改模型的适配路径:把现成的演示数据当先验库,几何变形对齐到目标场景后,在流匹配去噪过程中持续施加轨迹约束,真机、仿真、人形本体都能用;适合手里已有冻结策略、但缺目标场景演示数据的团队。它的好处是不训练、不占上下文,代价是引导只能在模型原有先验内纠正动作,模型本身学不会的行为它带不出来;同时它依赖目标场景里能稳定检出并对应上关键物体。
本次可核验材料只有 arXiv v1 的预印本全文快照,全部数字为作者自测,材料中未见第三方复现;后续版本与项目网站内容不在本次核验范围内。作者复测 RoboLab 无引导基础策略得 14.0%,低于原报告的 28.0%,绝对成功率需谨慎解读。评测规模也偏小:真机每任务 10 次 rollout、仿真 25 次。方法本身要求源数据库含有大致匹配目标任务类别的演示,对相机位置与遮挡并不鲁棒(语义对应失败会破坏三维变形并污染引导信号),且引导只能在 VLA 原有先验内重塑运动。
版本与核查范围
版本 2611.10894v1 · 原文定位与程序检查、独立上下文模型复核;不代表独立研究复现。。依据已核查材料整理;未运行模型或机器人。
原文与定位
- 原文链接 #S1.p1.1;#S6.p1.1;#S4.p1.1;#S4.p3.1;#S4.p5.2;#S5.SS2.p3.1;#S5.SS3.p3.1;figcaption[75];figcaption[48];#S5.SS1.p1.1;#S6.p2.1;figcaption[94]
