内容摘要
机器人执行任务时若摄像头突然断流,策略须在缺少后续观测的情况下继续操作。作者提出MAIL-Bench,在RoboCasa365的18项已见任务、900个固定场景中,按腕部、第三人称和全部视觉设置缺失条件,评测闭环操作的能力保留。
基准以各策略自身正常成功轨迹的完成时间为参照,在30%、45%、60%处切断相应视角,持续至回合结束。MINT结合缺失视角训练与选择性视觉预测:训练时标记不可用摄像头并屏蔽视觉词元;推理时,腕部或全部视觉缺失使用光流外推,第三人称缺失使用动作条件世界模型。预测未通过可靠性检查后,本回合不再使用,策略退回缺失输入状态。
作者报告MINT改善了π₀.₅与GR00T N1.5的中断表现,其中GR00T N1.5的MAIL-Bench综合分由0.246升至0.462。该分数结合正常成功率与仅在正常成功场景上计算的中断能力保留率,并非断流后的总体成功率。作者还在AgiBot G2的四项桌面任务中开展真机比较,每项任务、每种条件测试10次。以上属于论文内验证,不能据此外推跨本体或通用操作能力。
点评
将摄像头完全停止供帧与可用图像的内容扰动区分开,并把预测失效后的缺失输入控制作为回退路径,为研究视觉断流下的闭环可靠性提供评测与方法设计。
MAIL-Bench目前仅覆盖一种本体和18项RoboCasa365 Atomic-Seen任务,更广泛的基准与机器人平台验证仍属未来工作;世界模型还增加推理与显存开销。本条证据身份为作者论文实验,不作为厂商声明、工程开放核验或独立研究复现结论。
版本与核查范围
版本 2609.35003v1 · 原文定位与程序检查、独立上下文模型复核;不代表独立研究复现。。依据已核查材料整理;未运行模型或机器人。
原文与定位
- 原文链接 #abstract1.1;#S3.SS1.p1.1;#S3.SS1.p2.1;#S3.SS1.p3.1;#S1.p3.1;#S1.p4.1;#S4.SS3.p1.1;#S1.p5.1;#A3.T5.4.1;#S3.SS2.SSS0.Px2.p1.2;#S5.SS3.p1.1;figcaption[90]
