内容摘要
预训练视觉-语言-动作(VLA)策略适配到新机器人时,最贵的一步是采集目标机器人的演示数据;人手演示便宜得多,但人手与机器人手差异明显,直接混训往往学不到目标行为。核心问题是:没有成对的人机数据时,怎么把人的演示变成机器人可执行的任务。
作者提出 H2RB(Human-To-Robot Bridge,人-机桥接),把人机演示放在一起训练,在感知与动作两侧搭桥。感知侧是几何锚定对齐:用腕部位姿与五个指尖位置作为跨本体共享的物理参照,把视觉语言模型(VLM)的条件特征对齐过去,无需配对数据。动作侧是解耦解码器的隐动作分词器:共享编码器把两类动作片段编进同一隐动作空间,两套独立解码器分别还原,共享隐变量而不强行统一动作映射。
在 OpenArm 人形机器人(Inspire 灵巧手,策略从机器人预训练的 RLDX-1-IMG 初始化)真机上,按 0–100 加权任务进度分评估:仅由人手演示引入的新物体抓放从共训基线的 8.0 升到 51.8,摆放偏移时从 6.0 升到 45.3;机器人源数据中没有的开合技能得 62.7,共训基线在技能上均为 0.0。消融显示分词器把物体迁移从 34.7 提到 43.3、技能迁移从 0.0 提到 49.7,跨域正则把隐空间差距从 3.81 压到 1.53。
再叠加大规模异构人机预训练,物体迁移升到 57.2、技能迁移升到 81.7。但这是作者自报的加权进度分:部分完成也计分,每个条件只训练一个策略,物体迁移的完全成功率只有 12.2%。
点评
对机器人本体软件开发者,用处很直接:目标机器人数据不够时,可先用人手视频补充新物体和新技能的监督,而不必强行让人与机器人的动作参数一一对齐;代价是训练管线里要加一套按本体分支的动作隐变量分词器和一路几何回归头。论文给出的量级说明,这类混合训练确实能补上源机器人数据里没有的行为。
数字均为作者自报的真机结果,本次材料中无独立第三方复现;0–100 是按执行进度加权的分数而非成功率,物体迁移的完全成功率只有 12.2%;每个条件只训练一个策略,未做多随机种子重复,迁移评测也集中在 OpenArm 一个平台。
版本与核查范围
版本 2611.04391v1 · 原文定位与程序检查、独立上下文模型复核;不代表独立研究复现。。依据已核查材料整理;未运行模型或机器人。
原文与定位
- 原文链接 #abstract1.1;#abstract1.1;#S1.p4.1;#S2.SS2.p3.1;#abstract1.1;#S3.SS1.p1.1;#S3.SS1.p2.1;#S4.SS2.p2.1;#S3.SS3.p2.1;#A2.SS4.p3.1;#A3.T11.5;#S6.p1.1
