跳至正文
原文导读 · 原标题中译

Ego2Sim2Humanoid:把第一视角眼镜录像转成经物理验证的人形机器人移动操作训练数据

Ego2Sim2Humanoid: Agentic Real-to-Sim for Learning Loco-Manipulation VLAs without Robot Demonstrations

材料发布 2026-11-14 · arXiv · 作者论文 · 核查 2026-11-20
图 2:E2S2H 架构,以抬瓶录制数据为例说明。从自我中心视角(egocentric,第一人称相机)视频与追踪得到的手部关键点出发,智能体式的“真实到仿真”(real-to-sim)流程对物体做分割掩码,并构建带纹理的视觉场景与简化的碰撞几何体。每个物体由一个视觉网格和一个标注了目标接触区域的碰撞模型配对而成。在人体(橙色)与适配后的机器人(绿色)的相机路径上,机器人位姿记录了适配与修正过程。在双手移出视野的接近阶段(青色),全身运动生成器驱动行走动作与未见过的手臂运动,并开始在双手可见之前混合手臂目标。一旦双手进入相机视野(蓝色),追踪到的人手关键点接管手臂引导。将机器人直接放到投影出的人体头部路径上(红色)并不能保证得到无碰撞的站姿。因此仍需站姿适配,以避开桌面,同时在舒适姿态下把目标保持在可及范围内。把人的手掌直接复制到机器人手上同样会失败,在上文的抓取对比中会导致手指穿透或接触落空。最终位姿(灰色)结合了双层(bilevel)站姿调整与接触带 Dex3 抓取规划。物理仿真中的运动学优化与强化学习进一步把该方案细化为动力学可行的执行过程(rollout)。随后,E2S2H 沿执行路径从重建场景中渲染机器人相机视角,生成同步的训练数据。 图片出处
图 5:真实机器人试验,分别为抬瓶(左)与戴帽(右),每幅图中都叠加了该次试验较早帧的半透明图像。 图片出处

内容摘要

要解决的是人形机器人移动操作(边走边操作)策略的训练数据来源。以往这类数据靠遥操作真机示范采集,每条都要一名受训操作员实时操控真机并穿着可穿戴动捕设备;第一视角眼镜能免掉机器人,但只跟踪头部和视野内的手,人机身高、臂展和手部形态不同,照搬动作产生不了可行接触。

Ego2Sim2Humanoid(E2S2H)把眼镜录像转成经物理验证的机器人训练轨迹:智能体分阶段重建碰撞体与贴图网格,必要时补全未观测表面,并在被操作物体上定位目标接触带;抓取规划把接触带转成可行的机器人腕姿与手指闭合,双层优化规划无碰撞且手部可达的站姿,全身运动生成器补出下肢行走与视野外的手臂动作;再以运动学方式混合可见性切换,并在物理仿真中用智能体设计的语义奖励训练强化学习跟踪策略,物体移出画面后仍能完成操作阶段。图像、本体感知和动作都来自同一条仿真轨迹,视觉与控制不需要另外对时。

采集只用 Aria Gen 2 眼镜、不用机器人和动捕:抬瓶任务 219 段、戴帽任务 154 段,各配一条语言指令;过筛后分别剩 189 段和 59 段,主因是帽壁只有几毫米厚,抓取碰到帽子却夹不住。真机是 29 自由度 Unitree G1,配 Dex3 灵巧手和头部相机。只用转换数据微调 GR00T N1.7(3B)、不用目标任务的真机数据:抬瓶 20 次自主试验成功 9 次(45%),戴帽 20 次成功 5 次(25%),失败集中在抓取环节。

作者用两个基线的公开代码在同批戴帽录像上做对比:EgoHumanoid 与 EgoHumanoid-V2 的路径比例中位 0.5–0.6、手距接触区中位 70.8–112.9 厘米、可行抓取数为 0;E2S2H 的路径比例为 0.9、手距 0.8 厘米,71 段中 57 段找到可行抓取(完整版 EgoHumanoid-V2 只在其完成的 8 段留出录像中的 6 段上评估)。复制人手掌的对照显示:71 段里有 65 段,复制人手掌让拇指和食指陷进帽壁更深,穿透中位从 0.8 厘米升到 1.8 厘米;两者成功次数接近(56 比 53),差别在接触质量而不是成功率。

点评

对做本体软件和数据管线的工程师,这条链路值得看的地方在两端。采集端从"受训操作员+真机+动捕"换成"人戴眼镜走一遍",数据采集的门槛结构完全不同;判定端把"接触到底成不成立"交给物理仿真——够不着、夹不住的轨迹先在仿真里被淘汰,再上真机微调,能减少无效采集和真机试错。图像、本体感知与动作同源于一条仿真轨迹,训练数据不需另外做时序对齐。

动作侧并未另起炉灶:训练标签就是闭环的全身动作 token 加手部关节指令,也就是在仿真里真正移动了物体、同时保持平衡的动作序列;推理端沿用既有链路,GR00T N1.7(3B)输出 78 维动作块,由冻结的 SONIC 解码器在 G1 上执行,本体控制栈需要改的只是数据来源。

现实约束也摆在眼前:数据可用性取决于物体好不好抓,薄壁帽子的录像在进入仿真前就被大量丢弃(154 段只剩 59 段);真机上抬瓶成功率 45%、戴帽 25%,失败同样集中在抓取阶段。

本次可用证据只有作者论文本身,以及作者自己用基线公开代码跑出的对比(EgoHumanoid、EgoHumanoid-V2;完整版 EgoHumanoid-V2 只在其完成的 8 段留出录像中的 6 段上评估),没有第三方独立复现的实验报告;真机每个任务只做 20 次试验,抬瓶成功率 45%、戴帽 25%,失败集中在抓取阶段;仿真里的质量、惯量、表面摩擦由编码智能体按先验从视频估计,重物和质量分布不均的物体仍有仿真到现实差距;渲染视图与真实相机在色调平衡以及眼镜从未观测到的区域仍有差异;物体只能建成刚体、参数化形状或铰接连杆,叠衣、切面包这类高度柔性或拓扑变化任务不适用。

版本与核查范围

版本 2611.19196v1 · 原文定位与程序检查、独立上下文模型复核;不代表独立研究复现。。依据已核查材料整理;未运行模型或机器人。

原文与定位

  • 原文链接 #abstract1.1;#S1.p4.1;#S1.p5.1;#bib.bib33;#S3.SS5.p1.1;#S4.SS0.SSS0.Px1.p1.1;#S4.SS0.SSS0.Px2.p1.1;#S4.SS0.SSS0.Px3.p1.1;#S4.SS0.SSS0.Px3.p2.1;#S4.SS0.SSS0.Px4.p1.1;#S4.T2.2;#S4.SS0.SSS0.Px5.p1.1