跳至正文
原文导读 · 原标题中译

MobileVISTA:用于移动操作位姿泛化的生成式数据增强

MobileVISTA : Generative Data Augmentation for Pose Generalization in Mobile Manipulation

材料发布 2026-10-06 · arXiv · 作者论文 · 核查 2026-10-18
图2:MobileVISTA 框架。给定单一姿态(single-pose)的演示数据,MobileVISTA 在采样得到的基座姿态扰动 Δp ∈ SE(3)(三维刚体变换空间)下,对观测与动作进行联合增广。视觉分支移除机器人、对场景重投影,并在重定向后的构型处重新渲染机器人;动作分支则在末端执行器(end-effector)空间中通过 Δp⁻¹ 对动作做重定向,得到 (ã_t)_{t=1}^T。该增广数据集随后用于训练对姿态鲁棒的策略。 图片出处

内容摘要

仅用单一底座位姿的示范训练操作策略,部署时厘米级偏移就可能使视觉观测与末端轨迹偏离训练分布。作者提出MobileVISTA,将标准位姿示范离线扩展为位姿扰动数据,核心是联合增强第一视角观测与重定向动作,而非只改变图像。

视觉分支先移除机器人、重投影场景,再合成重定向姿态下重新渲染的机器人;动作分支在末端空间补偿底座变化,必要时通过全身逆运动学求解关节配置。该配置同时决定相机外参与机器人几何,面向相机随驱动链运动、机器人身体出现在画面中的设置。

作者在仿真及真实Galaxea R1 Pro上评测。真机每项任务采集50条标准位姿示范,随机测试偏移从半径15厘米圆盘内采样,同一偏移下各策略不重新定位。书本堆叠中,MobileVISTA抓取成功17/25、堆叠成功13/25,各基线两阶段均不超过2/25。但标准位姿下,其堆叠为18/25,低于Canonical-2D的24/25和微调π₀.₅的25/25,显示扰动鲁棒性收益伴随该任务的精度代价。

点评

作者实验支持以配对的视觉—动作合成数据改善底座位姿鲁棒性;这是数据生成框架,不是新的策略架构,也不应据此推断通用操作能力。

结论限于作者测试:平移扰动范围为15厘米、训练偏航范围为±5°,真机测试未显式控制偏航,范围外未验证。方法依赖机器人几何模型,未增强腕部相机。

版本与核查范围

版本 2610.07511v1 · 原文定位与程序检查、独立上下文模型复核;不代表独立研究复现。。依据已核查材料整理;未运行模型或机器人。

原文与定位

  • 原文链接 #abstract1.1;#S3.p1.1;#S1.I1.i1.p1.1;#S1.I1.i2.p1.1;#S3.SS2.p1.1;#S2.p4.1;#S1.p4.1;#S4.SS4.p1.2;#S4.SS4.p2.1;#S4.SS4.p3.1;#S4.T2.4;#S4.p4.1