内容摘要
搬运箱子、把瓶子投入垃圾桶,需要机器人协调行走、姿态和抓取;只学手部轨迹不够,逐次遥操作采集又成本较高。作者提出λ₀及HumanVerse数据集,把人类第一视角视频与身体、手部运动转成机器人训练监督,补充昂贵的机器人示范。
HumanVerse包含500小时原始采集数据,并非转换、有效性过滤后的时长。方法先匹配人与机器人的相机视角,把画面中的人臂替换为机器人手臂;再离线修正动作参考和控制器输入,处理体型差异与执行误差。λ₀依次学习手部运动、全身人类动作,最后用机器人数据适配;部署时不需要人类运动数据流。
作者在宇树G1上报告:投瓶、收玩具、搬箱和摆椅四项真机任务,每项使用十个固定初始配置,平均成功率为62.5%。固定机器人示范和后训练预算,增加全身人类数据时,按阶段完成度计分的平均任务进度从59.9%升至80.4%;这不是成功率。完整λ₀仍使用机器人后训练,不能把另一组无需目标任务机器人示范的迁移实验条件套用到这一结果。
点评
对数据与控制软件开发者,这提供了把可穿戴采集的人类动作接入机器人状态—动作接口的路线:先离线对齐,再训练策略,而非直接回放人体轨迹。
结果属于作者实验。真机评测每任务十次,未报告基于训练种子的置信区间;500小时是过滤前口径。文中的SIMPLE仿真汇总按任务选择最佳配置,不能视为固定配置下的统一排名。
版本与核查范围
版本 2610.18950v2 · 原文定位与程序检查、独立上下文模型复核;不代表独立研究复现。。依据已核查材料整理;未运行模型或机器人。
原文与定位
- 原文链接 #S1.p1.1;#S1.p2.1;#S3.p1.1;#S3.SS4.p1.1;#S3.SS4.SSS0.Px1.p1.1;#S4.p1.1;#S4.SS3.SSS0.Px2.p1.1;#S5.T1.4;#S5.SS3.SSS0.Px4.p1.1;#A4.SS3.SSS0.Px1.p1.1;#S5.SS3.SSS0.Px3.p2.1;#A4.SS3.SSS0.Px2.p1.1
