跳至正文
原文导读 · 原标题中译

Homeward:没有哪个视角比训练时的视角更好

Homeward: No Place Like the Training View

材料发布 2026-11-19 · arXiv · 作者论文 · 核查 2026-11-20
图 2:Homeward 总览。(a) 单目场景复原:在首次策略查询时,冻结的 VGGT(视觉几何基础模型)由 [I_ref, I_0′] 估计并缓存部署相机变换 (C′→C★);后续查询则在静态像素上对齐推断单帧深度 D_t。深度边缘滤波、z-buffer 泼溅(splatting)以及对 I_ref 的去遮挡填充产生场景层 S_t,其中保留了机械臂上的伪影(见插图)。(b) 运动学机器人层与策略执行:正向运动学与一次训练得到的相机标定 C★ 渲染出运动连杆的 RGB 图像 R_t 与轮廓掩码 M_t,按 Î_t = M_t ⊙ R_t + (1−M_t) ⊙ S_t 合成,并与未改动的 W_t、q_t 和 ℓ 一起送入冻结的 VLA π。 图片出处
图 4:在匹配的仿真器状态下给出定性规范化结果,分别对应较大的 AnyCamVLA 环绕轨道(Long)与视场角收窄(45°→35°)。在冻结策略失败而 Homeward 成功的片段帧中,视角合成会使细小物体模糊或缺失,而 Homeward 保持了清晰的场景几何与锐利的机械臂连杆。 图片出处

内容摘要

机器人本体和任务都没变,只是第三人称相机被碰动、重装或换了镜头,冻结的视觉-语言-动作(VLA,把图像与指令直接映射为动作的策略)就会大幅失效:LIBERO-Plus 扰动基准把相机视角偏移列为对冻结策略最致命的因素,OpenVLA-OFT 在 1,599 个相机变体上总体成功率仅 62.5%,最大偏移下只有 22.0%。

Homeward 是免训练、即插即用的观测适配器:不改策略权重,把未标定部署相机的画面还原成训练视角。它源于一个闭环悖论——用仿真器特权几何重渲染能救回大部分性能,换成现成的前馈 3D 模型 VGGT 后成功率反而降到 72.8%,比完全不校正还差,因为这类模型会把又细又反光的活动机械臂撕裂、打散,而机械臂的三维位姿本就由运动学模型给出。据此分工:估计未知的相机参数与静态场景深度,直接渲染已知的活动连杆。

在约 300,000 次闭环回合、四个冻结 VLA 上,1,599 个 LIBERO-Plus 相机变体的成功率从 62.5%、76.5%、68.0%、3.6% 提升到 77.6%、95.1%、91.2%、26.4%。无需场景微调与部署相机标定,它还覆盖 6 自由度随机摆位和焦距变化,配合逐步位姿估计处理回合内相机漂移;在 LIBERO-Plus 上对四个策略中的三个持平或超过需标定、需场景训练的视角合成基线。结果全部来自仿真。

点评

对做机器人本体软件的工程师,这是一条不动模型权重的兜底路径:现场相机被挪动、重装或换镜头后,只要备好机器人运动学模型、一张训练视角参考图和一次性的训练相机标定,就能在不改动冻结策略的前提下把画面拉回策略熟悉的视角,保住闭环成功率。相机参数与场景深度由现成的单目 3D 基础模型在运行时估计,部署相机本身不需要标定,也不需要任何场景微调数据。代价是每次策略查询约 0.21 秒的额外开销(作者说明这是由还原与冻结两种闭环回合的墙钟时间差间接推得,而非直接测量的还原延迟),对 8 步动作块(一次决策输出多步动作)的策略摊到每个控制步约 27 毫秒。系统还有一层兜底:首次查询(t=0)的相机估计若满足旋转小于 0.5°、平移小于场景中位深度的 1%、焦距变化小于 10%,整回合直接透传未经还原的原始帧。

全部结果来自仿真;作者把迁移到真机列为重要下一步,需要处理 URDF(机器人模型描述文件)与真实成像的外观差异、机械臂前方遮挡和接触丰富的夹爪—物体交互。大范围环绕视角下,单目几何的平移估计误差由小轨道的 2 厘米增至大轨道的 7 厘米,作者认为宽基线平移漂移是瓶颈,因此需标定、需场景训练的视角合成在这一设定下仍有优势;而对已被微调策略掌握的视角,做还原也没有必要。最轻微的 Level 1 扰动档上,OpenVLA-OFT 反而下降 6.1 个百分点(87.4% 对 93.5%),说明该方法并非在所有扰动强度下都带来增益。

版本与核查范围

版本 2611.24455v2 · 原文定位与程序检查、独立上下文模型复核;不代表独立研究复现。。依据已核查材料整理;未运行模型或机器人。

原文与定位

  • 原文链接 #S1.p1.1;#abstract1.1;#S1.p3.1;#S1.p4.1;#S4.T3.3;#abstract1.1;#abstract1.1;#S3.SS5.SSS0.Px3.p1.1;#S3.SS5.SSS0.Px2.p1.1;#S4.SS4.SSS0.Px2.p1.1;#S4.SS2.SSS0.Px2.p1.1;#S5.SS0.SSS0.Px1.p1.1