跳至正文
原文导读 · 原标题中译

AnyCamVLA:面向视觉-语言-动作模型的零样本相机适配

AnyCamVLA: Zero-Shot Camera Adaptation for Viewpoint Robust Vision-Language-Action Models

材料发布 2026-11-11 · arXiv · 作者论文 · 核查 2026-11-14
图 3:LIBERO-Long 上随微调步数变化、由智能体视角变化(agent view variations)带来的成功率:(左) 原始视角下的平均任务成功率;(右) 三个未见视角下的平均任务成功率。 图片出处
图 6:真实世界中面对新视角的性能提升结果。(a) 新视角下的任务成功率;柱状与标记分别表示执行进度与二值任务成功率。(b) 真实世界执行快照;每一列展示一个任务从初始状态到最终状态的顺序推进过程。 图片出处

内容摘要

相机怎么摆,常常决定已微调的策略还能不能用。视觉-语言-动作模型(VLA,把图像和指令直接映射成机器人动作的预训练策略)通常要在目标环境微调才能落地;作者观察到,微调后的策略会记住训练时的相机摆放,手腕相机挪 3 厘米,成功率就能减半。

AnyCamVLA 的做法是不动策略,只在推理时把相机"虚拟"回训练视角:用前馈式新视角合成模型 LVSM 同时处理相机外参(位置姿态)和内参(焦距、主点),并可插拔到任意基于 RGB 的策略。适配模块约 30 FPS,策略本体约 10 Hz;作者报告 LVSM 在 RTX 4090 上合成新视角耗时 36.55 毫秒。前提是训练与测试相机参数已知且在同一坐标系,即装机时标定一次。

在 LIBERO(VLA 常用的仿真操作基准)上,视角扰动加大时基座策略明显退化:OpenVLA-OFT 从 85.2% 掉到 46.2%,π0.5(另一基座策略)从 92.4% 掉到 45.0%;加装适配后 π0.5 各套件平均成功率 94.5%,手腕相机单独扰动时 LIBERO-Long 为 88.6%,改用 3D 感知特征的 GeoAwareVLA 在手腕扰动下跌破 10%。

作者还报告:只用 1 个任务做视角增强微调会拉低其余 9 个任务在新视角下的表现,原视角成绩随训练持续下降(灾难性遗忘);未经仿真域适配的合成模块平均成功率仅 33.2%。真机侧用 Franka Panda 做 4 个桌面任务,作者称新视角成功率与训练视角相当,并让 ZED2、RealSense D435、iPhone 17 Pro 手持自由移动完成操作。

点评

对做机器人本体软件和部署的团队,实用点在于把相机适配做成一个可插拔的输入模块:策略权重完全不动,装机时标定一次就能换视角,省掉重新采演示数据、再训练一轮策略的成本,也避免微调带来的遗忘。

均为作者自报结果,未见独立复现;方法要求训练与测试相机参数已知且位于同一坐标系;单目输入、目标视角过远或大遮挡时合成质量会下降;每帧约 30 毫秒延迟并额外占用显存;训练相机配置不一致时的目标视角自动选择仍是开放问题。本条证据限于 arXiv 第 3 版修订稿正文与作者项目页,未包含第三方复现数据。

版本与核查范围

版本 2603.05868v3 · 原文定位与程序检查、独立上下文模型复核;不代表独立研究复现。。依据已核查材料整理;未运行模型或机器人。

原文与定位

  • 原文链接 #S1.p2.1;#abstract1.1;#S3.SS1.p2.1;#S3.SS2.p3.1;#S4.SS1.SSS2.p1.1;#S4.SS1.SSS2.p2.1;#S4.SS1.SSS3.p2.1;#S4.T3.1.1;#S4.SS2.SSS1.p1.1;#S4.SS2.SSS2.p2.1;#S4.SS2.SSS3.p1.1;#S5.p2.1