跳至正文
原文导读 · 原标题中译

MimicAll:面向跨人形机器人全身动作跟踪的结构化本体条件化

MimicAll: Structured Embodiment Conditioning for Cross-Humanoid Whole-Body Motion Tracking

材料发布 2026-10-24 · arXiv · 作者论文 · 核查 2026-10-30
图 2:Mimic All 总览。左:耦合随机化(coupled randomization)把 16 个机器人模板扩展为 4,096 个本体变体,并通过本体标定的动作重定向(retargeting)构建其动作参考库。中:结构、形态学与动力学被编码为全局身体条件与关节对齐的身体条件,并经由四种条件化变体加以整合。右:一个共享策略在不同构型的人形机器人上跟踪多样动作。在留出的 100STYLE 动作上,Flat-MLP 编码配合拼接(concatenation)在 SS/SI/SO 三类本体上相较仅用掩码(Mask-only)改善了动作补全表现,并降低了姿态误差、速度误差与足部打滑误差。训练曲线与多机器人回放展示了学习过程以及由此获得的跨本体跟踪能力。 图片出处
图 4:四种本体条件化机制。所有变体使用相同的图(Graph)编码器架构和本体条件化的基础动作头设计。Concat 变体将 h_g 送入反馈主干网络;另外三种则在此之上附加残差动作修正。交互分支使用 J=38 个动作槽位与宽度为 64 的 token(词元),与编码器中宽度为 128 的 token 不同。 图片出处

内容摘要

全身动作跟踪策略通常只针对一副本体训练,跨身体复用时结构、形态和动力学都不同。《MimicAll:面向跨人形机器人全身动作跟踪的结构化本体条件化》把"执行动作的是哪副身体"写成显式本体描述符(含结构、形态与动力学),编码成全局条件与关节对齐条件,与观测历史、经重定向(映射到该机体关节)后的参考动作一起输入同一策略,输出关节目标偏移;各机器人原生关节绑定到 38 个语义槽位(统一的关节编号位),缺失关节用掩码屏蔽,不同家族因此可共用一套参数。训练侧由物理一致随机化生成 16 个家族的 4,096 个机体变体,参考库留在主机内存、只把活动窗口搬入 GPU。30 秒成功率上,Graph+Concat 在 100STYLE 已见家族三档为 97.1/92.3/91.9%,掩码对照为 93.8/90.0/86.6%;共享策略在 24 个随机化 G1 上把单机体专用策略的 42.9% 提到 99.4%;只换条件输入的配对干预显示,错配身体条件会把 61.7% 降到 47.0%。局限:结果全部来自仿真,未见机器人家族迁移成功率不超过 8.2%,固定预算对比每个配置只训练一次,真机验证被列为后续工作。

点评

对做本体软件和全身控制策略的工程师,最值得借鉴的是把目标机体的结构、形态、动力学写成显式描述符,作为条件与观测一起送进共享策略,从而用一套参数覆盖多副身体;条件化方式可按目标取舍——论文里自注意力取得最低的全局位置误差,而简单拼接就足以改善动作完成率。工程上,参考库留在主机内存、只把活动的时间窗搬到 GPU,使显存占用不再随完整参考库增长,上千机体变体也能共用同一套训练流程。需要清醒认识的是:本文结论全部来自仿真,换到未见机器人家族会明显失效,真机与安全验证要自行补齐。

全部实验为仿真,未做真机验证;跨到未见机器人家族时迁移明显不足(LAFAN1 30 秒成功率不超过 8.2%,同场景整体描述符重建 R² 降至 0.377/0.344);固定预算的主对比每个配置只训练一次(seed 42),配对干预的 95% 区间是按机体聚类给出的;本报告不做跨协议排名,也不把外部方法的成绩与本文方法直接并列比较。原文取自 arXiv 的 HTML 快照,图中曲线数值未在正文文本中给出。

版本与核查范围

版本 2610.33508v1 · 原文定位与程序检查、独立上下文模型复核;不代表独立研究复现。。依据已核查材料整理;未运行模型或机器人。

原文与定位

  • 原文链接 #abstract1.1;#S3.SS1.p1.1;#S4.SS3.p1.1;#S4.SS1.p3.1;#S5.SS1.p1.1;#S6.SS1.SSS0.Px1.p1.1;#S6.SS1.SSS0.Px2.p1.1;#S6.SS1.SSS0.Px3.p1.1;#S6.SS2.SSS0.Px5.p1.1;#S6.SS3.SSS0.Px1.p1.1;#S7.p3.1;#A1.SS2.p1.1