跳至正文
原文导读 · 原标题中译

利用视觉—语言—动作模型学习在视觉中断下行动

Learning to Act under Visual Interruptions with Vision-Language-Action Models

材料发布 2026-09-28 · arXiv · 作者论文 · 核查 2026-10-18
图 3:MINT 总览。MINT 将「对缺失视觉输入的鲁棒性」与「视觉预测」相分离。策略首先在相机可用性可变的条件下训练,随后在推理时当某路相机被中断,才选择性地接收预测视图。不可靠的预测会被撤回,策略转而基于剩余观测执行动作。 图片出处
图5:“立方体放入抽屉”(Cube to Drawer)任务的一次执行回合,第三人称相机(用于观测机器人与环境全局的外部视角相机)在第 50 步被中断。策略仍完成了抓取、搬运、释放与闭合抽屉。上:真实的第三人称图像流,在中断之后对策略不可见。中:第三人称视角的图像流,以及世界模型(对环境后续演化的预测模型)给出的预测结果。下:腕部相机图像流,始终保持可用。 图片出处

内容摘要

机器人执行任务时若摄像头突然断流,策略须在缺少后续观测的情况下继续操作。作者提出MAIL-Bench,在RoboCasa365的18项已见任务、900个固定场景中,按腕部、第三人称和全部视觉设置缺失条件,评测闭环操作的能力保留。

基准以各策略自身正常成功轨迹的完成时间为参照,在30%、45%、60%处切断相应视角,持续至回合结束。MINT结合缺失视角训练与选择性视觉预测:训练时标记不可用摄像头并屏蔽视觉词元;推理时,腕部或全部视觉缺失使用光流外推,第三人称缺失使用动作条件世界模型。预测未通过可靠性检查后,本回合不再使用,策略退回缺失输入状态。

作者报告MINT改善了π₀.₅与GR00T N1.5的中断表现,其中GR00T N1.5的MAIL-Bench综合分由0.246升至0.462。该分数结合正常成功率与仅在正常成功场景上计算的中断能力保留率,并非断流后的总体成功率。作者还在AgiBot G2的四项桌面任务中开展真机比较,每项任务、每种条件测试10次。以上属于论文内验证,不能据此外推跨本体或通用操作能力。

点评

将摄像头完全停止供帧与可用图像的内容扰动区分开,并把预测失效后的缺失输入控制作为回退路径,为研究视觉断流下的闭环可靠性提供评测与方法设计。

MAIL-Bench目前仅覆盖一种本体和18项RoboCasa365 Atomic-Seen任务,更广泛的基准与机器人平台验证仍属未来工作;世界模型还增加推理与显存开销。本条证据身份为作者论文实验,不作为厂商声明、工程开放核验或独立研究复现结论。

版本与核查范围

版本 2609.35003v1 · 原文定位与程序检查、独立上下文模型复核;不代表独立研究复现。。依据已核查材料整理;未运行模型或机器人。

原文与定位

  • 原文链接 #abstract1.1;#S3.SS1.p1.1;#S3.SS1.p2.1;#S3.SS1.p3.1;#S1.p3.1;#S1.p4.1;#S4.SS3.p1.1;#S1.p5.1;#A3.T5.4.1;#S3.SS2.SSS0.Px2.p1.2;#S5.SS3.p1.1;figcaption[90]