跳至正文
原文导读 · 原标题中译

InfiNoVA:面向视角不变机器人策略的无限新视角增强

InfiNoVA: Infinite Novel View Augmentation for Viewpoint Invariant Robot Policies

材料发布 2026-09-23 · arXiv · 作者论文 · 核查 2026-10-19
图2:多视角重建与新视角采样。红色相机用于重建,绿色相机表示所采样的新视角。 图片出处

内容摘要

视觉—语言—动作(VLA)策略容易依赖训练时的相机视角,换到未见视角后性能下降;增加实体相机又成本较高、覆盖有限。作者提出InfiNoVA,用同步多相机演示生成密集、几何一致的训练视图。

方法以五台相机记录操作轨迹,利用InstantSplat++逐时刻重建三维高斯表示,再从虚拟相机位姿渲染新视图,保留原始语言指令与动作标签。增强在数据层完成,不改策略架构,推理时无需重建模块。实验采用SO-101机械臂与SmolVLA,覆盖拾放、清扫、分类和堆叠四项任务,每项采集70条演示。

作者报告,在相同随机视角评测协议下,各结果进行100次执行,InfiNoVA四任务平均成功率为40.5%,VISTA增强和未增强策略均为7.5%。另在仅针对拾放任务的100次测试中,直接使用五个实体相机视图训练的成功率为24%,InfiNoVA为40%。这些结果支持受控条件下的视角鲁棒性改善,不能外推为跨本体或通用操作能力。

点评

提供了一条不改策略架构、通过保持状态—动作对应关系的几何视角增强改善相机鲁棒性的数据路线。

证据为作者论文实验,应按作者报告解读,不作独立复现结论。研究限于单一机器人平台、SmolVLA和四项受控任务;超出已观测工作空间的视角、其他本体与长时程任务仍待验证,逐时刻离线重建的扩展性也待改进。

版本与核查范围

版本 2609.27734v1 · 原文定位与程序检查、独立上下文模型复核;不代表独立研究复现。。依据已核查材料整理;未运行模型或机器人。

原文与定位

  • 原文链接 #abstract1.1;#abstract1.1;#S3.SS4.p1.1;#S3.SS2.p2.1;#S3.SS3.p4.1;#S3.SS4.p1.1;#S3.SS4.p3.1;#S4.SS6.p1.1;#S4.SS6.p2.1;#S4.SS6.p3.1;#S4.SS7.p1.1;#S5.p2.1