HandMimicX：通过以物体为中心的策略从第一视角视频学习类人灵巧操作

图 2：HandMimicX 总览。(a1) 给定一段 RGB-D 第一人称（egocentric）视频，我们重建被操作物体与手部运动，随后将两者的重建结果与深度观测对齐。(a2) 我们提取首次接触帧处的手-物交互状态，作为策略学习所需的交互先验 𝒈_hand^*。(b1) 我们使用带 SAPG 的 PPO 训练以物体为中心的教师策略 𝝅^T。对应关系感知编码器（correspondence-aware encoder）将当前物体点云与目标物体点云映射为几何隐表示，并与 𝒐_t^prop、𝒂_{t-1} 及 𝒅^{h,o} 拼接，构成观测 𝒐_t^T，输入演员网络与评论家（critic）多层感知机（MLP）。(b2) 训练过程中，教师策略 𝝅^T 学习操作物体并跟踪任意目标位姿。(b3) 我们使用 DAgger 将教师策略 𝝅^T 蒸馏为在部分观测 𝒐_t^S 下工作的学生策略 𝝅^S。最终，(c) 我们将蒸馏后的学生策略部署到真实机器人上执行多样轨迹，动作范围超出原视频演示的内容。图片出处

图 8：从第一人称视频中提取的单条物体轨迹所进行的技能迁移。面板 (a) 与 (b) 展示从不同初始物体位置与朝向出发的执行过程。面板 (c) 可视化了用于表示演员网络物体状态的 128 个规范化表面关键点（canonical surface keypoints）。图片出处

内容摘要

从第一视角人像视频学灵巧操作，难点在于：一条演示要变成换个位置也能复用的技能，同时不能出现物理上不成立的接触和别扭的手指姿态。这篇论文（HandMimicX）的折中是把强化学习（RL）目标从人手轨迹改成物体运动：策略只管把物体送到目标位姿，手的姿态由真实演示的接触与手势约束。

输入是一段第一视角 RGB-D（彩色加深度）视频。作者用现成工具恢复物体网格、手部世界坐标姿态和接触区域（SAM3D、HaWoR、HACO），在接触起始时刻把手型、手物相对位姿和区域级接触合成“交互先验”来正则化策略；相机晃动带来的尺度漂移和手物错位，靠把手部表面对齐到深度观测点修正。策略为 actor–critic 结构，同时控制 6 自由度 UR5 机械臂和 20 自由度 Wuji 灵巧手；先在超过 3200 个物体上预训练再按任务微调（30K 步预训练、每任务 10K 步、4,096 个并行环境），最后用 DAgger 把教师策略蒸馏成只依赖真机可得观测的学生策略。

仿真八个任务按“依次通过 5 个随机路点、全到达才算成功”评分为平均 85.4%，基线 SimToolReal、Dex4D 分别为 57.3%、66.8%；消融去掉交互先验、点对应模块、预训练后依次降到 75.1%、78.3%、73.3%。真机八个任务各 10 次试验，平均 71.3%。这些数字均为论文自报。

点评

对做机器人本体软件的工程师，这套流程把“复刻人手轨迹”换成“把物体送达目标状态”：一条第一视角视频即可产出可换位复用的策略，手部姿态又受真实演示的接触约束而不是自由漂移；预训练＋按任务微调，以及 DAgger 蒸馏，给出了从仿真训练过渡到真机部分观测的常规接法。

全部数字为作者自报；本次核查只拿到该论文的 arXiv 预印本页与其 HTML 全文快照，未见更新版本、官方发布或独立复现验证。作者自述限制：流程依赖重建的物体几何、估计的手部姿态与接触预测，误差会传入策略学习；接触只建模到区域级离散状态，未建模更细的接触力；跨本体与双臂任务的评估范围仍有限。仿真评测按“5 个随机路点全部到达才算成功”的协议统计，真机每个任务仅 10 次试验，样本量较小。

版本与核查范围

版本 2610.41336v1 · 原文定位与程序检查、独立上下文模型复核；不代表独立研究复现。。依据已核查材料整理；未运行模型或机器人。

原文与定位

原文链接 #abstract1.1；#S1.p3.1；#S3.SS2.SSS2.p1.1；#S3.SS2.SSS2.p3.2；#S3.SS3.SSS1.p1.1；#S3.SS3.SSS1.Px3.p1.1；#S3.SS3.SSS2.p1.1；#S4.SS2.p1.1；#S4.T1.5.1；#S4.T2.5.1；#S4.T3.5.1；#S6.p1.1

内容摘要

点评

原文与定位

关联知识节点

收录报告