跳至正文
原文导读 · 原标题中译

HuMI:把全身操作示范采集从人形机器人本体上拆下来,再迁移回机器人

HuMI: Humanoid Whole-Body Manipulation from Humanoid-Free Demonstrations

材料发布 2026-11-07 · arXiv · 作者论文 · 核查 2026-11-15
图2:HuMI 数据采集。(a) 挑战:仅用夹持器采集的数据无法充分刻画全身运动,简单的规模化采集会破坏场景对齐。(b) 硬件:便携式夹持器与追踪器,并提供实时 IK(逆运动学)预览以确保可行性。(c) 数据处理:任务空间的 SE(3) 轨迹用于训练高层策略,全身 IK 解用于监督底层控制器。 图片出处
图6:全身能力测试结果。(a) HuMI 在四项任务上的表现;(b) 基线方法的失败模式,红框标示失败行为的细节;(c) 各任务的成功率。 图片出处

内容摘要

人形机器人全身操作(跪地捡物、下蹲取瓶、拔剑、投掷)目前主要靠遥操作或视觉仿真到现实强化学习:前者要操作者稳住机器人并补偿跟踪误差,后者需要复杂奖励塑形与域随机化,扩展到多任务多环境不易。

HuMI(Humanoid Manipulation Interface,人形操作接口)把数据采集从机器人本体上拆下来:演示者用带相机的手持夹爪加五个无基站的全身追踪器采集,记录两夹爪、骨盆、双脚共五条位姿轨迹,并产出同步图像观测与任务空间 SE(3) 位姿轨迹;身体姿态不做比例缩放,改为提供实时逆运动学(IK,inverse kinematics)预览,让演示者当场把动作调进目标机器人的可达范围。部署端是分层结构:5 Hz 扩散策略(Diffusion Policy)输出关键点轨迹块,50 Hz 全身控制器把目标转成关节指令;新动作块锚在上一"计划位姿"而不是"实际执行位姿",避免块边界反向抖动。

在 Unitree G1 真机上,单膝跪地捡物成功 17/20,去掉在线 IK 预览的消融版本降到 1/10;拔剑 17/20,末端执行器跟踪误差 15.7 毫米,去掉变速度增强后降到 5/10、误差升到 21.2 毫米;泛化实验 20 次实机运行成功 14 次(70%);同为 15 分钟采集场次,HuMI 得到 60 条有效演示,TWIST2 遥操作为 18 条,有效演示吞吐超过三倍。

以上数字和结论都出自作者论文自述,本次材料未含第三方复现。

点评

给做本体软件和数据管线的工程师,HuMI 的直接价值在于把人形全身操作的数据瓶颈从"操作者撑着机器人"换成"一个人穿着便携设备采全身数据":同一 15 分钟采集场次内有效演示产量约为遥操作的三倍(作者自测 60 条对 18 条)。另一个可借鉴的工程点是分层接口约定——高层策略输出的新动作块要锚在上一"计划位姿"而不是"实际执行位姿",否则低层跟踪滞后会在块边界造成反向抖动;论文的抛掷任务消融中,把锚点换回执行位姿后成功率从 15/20 降到 4/10,作者观察到块间轨迹反转、前摆动量随之下降。还有一点常被忽略:采集侧的难点不是"能不能录到动作",而是"录到的动作对目标本体是否可行"——作者用在线 IK 预览让人类演示者当场调整,去掉它之后,同一任务的消融成功率从 17/20 掉到 1/10。以上数字均出自作者论文,本次材料未含第三方复现。

可核查的边界有四点:所有实机实验都在 Unitree G1 上完成(作者称目标本体约 130 厘米高),本次材料中没有其他人形本体的结果;泛化结论来自单一代表性任务(下蹲取瓶)的 20 次运行、成功 14 次,作者自己也把它限定为"在这一个有代表性的任务上";能力类任务每个任务只有 20 次试验,各项消融只有 10 次试验,样本量偏小;采集效率对比是在拔剑任务的 15 分钟场次上与 TWIST2 进行。全部数据为作者论文自测,本次材料未提供独立复现证据。

版本与核查范围

版本 2602.06643v3 · 原文定位与程序检查、独立上下文模型复核;不代表独立研究复现。。依据已核查材料整理;未运行模型或机器人。

原文与定位

  • 原文链接 #S1.p1.1;#S1.p4.1;#S3.SS1.p1.1;#S3.SS1.p2.1;#S3.SS1.p4.1;figcaption[29];#S3.SS3.p2.1;#S4.SS1.SSS1.p2.1;#S4.SS1.SSS2.p2.1;#S4.SS2.p2.1;#S4.SS3.p1.1;#S4.SS1.SSS3.p2.1