跳至正文
原文导读 · 原标题中译

打破视觉—动作捷径:面向可泛化机器人基础模型的潜在接口训练

Breaking the Vision-Action Shortcut: Latent Interface Training for Generalizable Robotics Foundation Models

材料发布 2026-09-11 · arXiv · 作者论文 · 核查 2026-10-19
图 2:潜在接口训练(Latent Interface Training,LIT)总览。阶段 1 不使用图像,通过以语言、机器人状态,以及每个已演示动作块末端的 SE(3)(三维刚体位姿群)末端执行器位姿为条件,学习一个空间目标条件的动作先验(action prior)。阶段 2 引入视觉条件:通过可学习的潜在标记(learnable latent tokens)聚合视觉与语义骨干网络的表征,并对预训练的动作专家(action expert)施加逐层条件。这些标记被监督去重建相同的末端位姿,从而把动作先验学习与视觉接口学习联系起来。将全部视觉条件都经由这些空间监督标记传递,旨在缓解视觉—动作捷径(vision–action shortcut),同时保留任务相关的空间信息。 图片出处
图 6:真机任务在同分布(ID)与分布外(OOD)视觉条件下的成功率。相机 OOD 条件仅使用顶部相机视角。柱条报告成功率(%)。 图片出处

内容摘要

机器人模型可能依赖训练中与动作相关、却与任务无关的视觉线索,导致分布变化时泛化退化。作者提出潜在接口训练(LIT),用无图像动作预训练与位姿监督接口,约束视觉信息进入动作生成的路径。

第一阶段以语言、机器人状态和示范动作块的末端执行器终止位姿为条件,学习空间目标条件动作先验。第二阶段让潜在令牌聚合视觉与语义表征,成为动作专家的唯一视觉条件通道,并监督其重建同一终止位姿。推理时不需要该目标位姿。

作者在π0.5、MolmoAct2、FAST-WAM和ImageWAM上报告:相对各自配对基线,LIBERO-Plus总体成功率提高3.87—10.70个百分点,LIBERO平均成功率保持或提高。总体指标为七类扰动成功率的非加权平均;模型仅用原始LIBERO示范训练,测试时不适配。

真机实验仅比较MolmoAct2配对方案,使用三个任务共300条示范;按任务汇总后,光照、相机配置和干扰物变化下的成功率分别从53.3%升至70.0%、30.0%升至46.7%、50.0%升至63.3%。这些是作者实验结果,不宜直接与微调预训练策略检查点的已发表成绩比较。

点评

该研究为“限制视觉条件如何被动作专家使用”提供了实验支持,而非仅增加视觉表征信息;支持范围限于论文测试的架构与条件。

基线与LIT均从预训练骨干和随机初始化动作专家起步,并非微调已有策略。作者明确指出,更大规模真机评估仍待开展,不能据此外推通用操作能力。

版本与核查范围

版本 2609.12641v1 · 原文定位与程序检查、独立上下文模型复核;不代表独立研究复现。。依据已核查材料整理;未运行模型或机器人。

原文与定位

  • 原文链接 h1[1];#S1.p2.1;#S5.p2.1;#S3.SS2.p1.1;#S1.p4.1;#S3.SS1.p1.3;#abstract1.1;#S4.SS1.p1.1;#S4.SS4.p1.1;#S4.SS4.p3.1;#S4.SS1.p4.1;#S5.p2.1