内容摘要
机器人模型可能依赖训练中与动作相关、却与任务无关的视觉线索,导致分布变化时泛化退化。作者提出潜在接口训练(LIT),用无图像动作预训练与位姿监督接口,约束视觉信息进入动作生成的路径。
第一阶段以语言、机器人状态和示范动作块的末端执行器终止位姿为条件,学习空间目标条件动作先验。第二阶段让潜在令牌聚合视觉与语义表征,成为动作专家的唯一视觉条件通道,并监督其重建同一终止位姿。推理时不需要该目标位姿。
作者在π0.5、MolmoAct2、FAST-WAM和ImageWAM上报告:相对各自配对基线,LIBERO-Plus总体成功率提高3.87—10.70个百分点,LIBERO平均成功率保持或提高。总体指标为七类扰动成功率的非加权平均;模型仅用原始LIBERO示范训练,测试时不适配。
真机实验仅比较MolmoAct2配对方案,使用三个任务共300条示范;按任务汇总后,光照、相机配置和干扰物变化下的成功率分别从53.3%升至70.0%、30.0%升至46.7%、50.0%升至63.3%。这些是作者实验结果,不宜直接与微调预训练策略检查点的已发表成绩比较。
点评
该研究为“限制视觉条件如何被动作专家使用”提供了实验支持,而非仅增加视觉表征信息;支持范围限于论文测试的架构与条件。
基线与LIT均从预训练骨干和随机初始化动作专家起步,并非微调已有策略。作者明确指出,更大规模真机评估仍待开展,不能据此外推通用操作能力。
版本与核查范围
版本 2609.12641v1 · 原文定位与程序检查、独立上下文模型复核;不代表独立研究复现。。依据已核查材料整理;未运行模型或机器人。
原文与定位
- 原文链接 h1[1];#S1.p2.1;#S5.p2.1;#S3.SS2.p1.1;#S1.p4.1;#S3.SS1.p1.3;#abstract1.1;#S4.SS1.p1.1;#S4.SS4.p1.1;#S4.SS4.p3.1;#S4.SS1.p4.1;#S5.p2.1
