内容摘要
机器人本体和任务都没变,只是第三人称相机被碰动、重装或换了镜头,冻结的视觉-语言-动作(VLA,把图像与指令直接映射为动作的策略)就会大幅失效:LIBERO-Plus 扰动基准把相机视角偏移列为对冻结策略最致命的因素,OpenVLA-OFT 在 1,599 个相机变体上总体成功率仅 62.5%,最大偏移下只有 22.0%。
Homeward 是免训练、即插即用的观测适配器:不改策略权重,把未标定部署相机的画面还原成训练视角。它源于一个闭环悖论——用仿真器特权几何重渲染能救回大部分性能,换成现成的前馈 3D 模型 VGGT 后成功率反而降到 72.8%,比完全不校正还差,因为这类模型会把又细又反光的活动机械臂撕裂、打散,而机械臂的三维位姿本就由运动学模型给出。据此分工:估计未知的相机参数与静态场景深度,直接渲染已知的活动连杆。
在约 300,000 次闭环回合、四个冻结 VLA 上,1,599 个 LIBERO-Plus 相机变体的成功率从 62.5%、76.5%、68.0%、3.6% 提升到 77.6%、95.1%、91.2%、26.4%。无需场景微调与部署相机标定,它还覆盖 6 自由度随机摆位和焦距变化,配合逐步位姿估计处理回合内相机漂移;在 LIBERO-Plus 上对四个策略中的三个持平或超过需标定、需场景训练的视角合成基线。结果全部来自仿真。
点评
对做机器人本体软件的工程师,这是一条不动模型权重的兜底路径:现场相机被挪动、重装或换镜头后,只要备好机器人运动学模型、一张训练视角参考图和一次性的训练相机标定,就能在不改动冻结策略的前提下把画面拉回策略熟悉的视角,保住闭环成功率。相机参数与场景深度由现成的单目 3D 基础模型在运行时估计,部署相机本身不需要标定,也不需要任何场景微调数据。代价是每次策略查询约 0.21 秒的额外开销(作者说明这是由还原与冻结两种闭环回合的墙钟时间差间接推得,而非直接测量的还原延迟),对 8 步动作块(一次决策输出多步动作)的策略摊到每个控制步约 27 毫秒。系统还有一层兜底:首次查询(t=0)的相机估计若满足旋转小于 0.5°、平移小于场景中位深度的 1%、焦距变化小于 10%,整回合直接透传未经还原的原始帧。
全部结果来自仿真;作者把迁移到真机列为重要下一步,需要处理 URDF(机器人模型描述文件)与真实成像的外观差异、机械臂前方遮挡和接触丰富的夹爪—物体交互。大范围环绕视角下,单目几何的平移估计误差由小轨道的 2 厘米增至大轨道的 7 厘米,作者认为宽基线平移漂移是瓶颈,因此需标定、需场景训练的视角合成在这一设定下仍有优势;而对已被微调策略掌握的视角,做还原也没有必要。最轻微的 Level 1 扰动档上,OpenVLA-OFT 反而下降 6.1 个百分点(87.4% 对 93.5%),说明该方法并非在所有扰动强度下都带来增益。
版本与核查范围
版本 2611.24455v2 · 原文定位与程序检查、独立上下文模型复核;不代表独立研究复现。。依据已核查材料整理;未运行模型或机器人。
原文与定位
- 原文链接 #S1.p1.1;#abstract1.1;#S1.p3.1;#S1.p4.1;#S4.T3.3;#abstract1.1;#abstract1.1;#S3.SS5.SSS0.Px3.p1.1;#S3.SS5.SSS0.Px2.p1.1;#S4.SS4.SSS0.Px2.p1.1;#S4.SS2.SSS0.Px2.p1.1;#S5.SS0.SSS0.Px1.p1.1
