内容摘要
任务:让机器人策略从"别的本体的视频"里学——用大量真人第一视角视频(采集不需要机器人)来补充昂贵的真机遥操作数据,训练控制机器人本体的策略。已有的通用做法是隐式动作模型(LAM:从前后两帧学出一个动作编码),但多数 LAM 只做视频重建,学出的编码容易按画面外观(例如场景)而不是按底层动作聚类,于是人做的动作和机器人做的同一件事在编码空间里对不上。
SALA 的改动:用每个片段"原子动作"的自然语言描述,在不要求人机数据配对的前提下估计语义相似度,把它转成"软邻域"目标;机器人一侧的隐式动作由动作重建锚定在控制上、充当锚点,人类一侧单向移动过去(stop-gradient 保证锚点不被反向拉动)。分词器训好后只看视频帧就能给人和机器人视频打上同一套隐式动作标签,成为在两类视频上训练策略的统一监督信号。
作者自测结果:仿真 RoboTwin 2.0 上,用来代替真人视频的是另一台机械臂的视频,SALA 的平均成功率高于用同样数据训练的已有 LAM 与 WAM。真机为 Sharpa North 轮式人形机器人,配两只 22 自由度灵巧手,63 维关节动作;四个下游任务各 20 次试验,SALA 平均 72.50%,OpenWAM-α 63.75%,同架构但去掉隐式动作的基线 27.50%。预训练阶段把通用人类视频加到 2,678 小时,机器人动作预测误差持续下降且不需要新增机器人数据;后训练阶段固定遥操作演示、逐步增加任务相关人类演示,平均成功率从 53.75% 升到 72.5%。
点评
对做机器人本体软件的工程师,有用处的有两点。一是监督来源可以按小时计量:先用一批带原子动作描述的数据训一个跨本体的隐式动作分词器,之后人和机器人的视频都被映射到同一套语义对齐的动作编码上,策略用同一套编码同时从两类数据里学——预训练阶段可以用通用人类视频补充机器人数据而不必新增遥操作采集,新任务则能在固定遥操作预算之外用便宜的人类演示补强(真机上固定遥操作演示、逐步增加任务相关人类演示,平均成功率 53.75%→72.5%)。二是部署侧不增加负担:教师分词器和未来帧只在训练时使用,部署时策略只看当前观测。代价是流程里多了一个要单独训练和维护的分词器环节,它要求为训练片段准备原子动作描述,而策略本身不吃这些描述、只从视频帧学习。需要提醒的是,本次核查材料中的所有数字都出自作者自测的仿真与单台真机实验,没有独立复现证据。
全部数字均来自作者自测实验,条件有限:真机只有 Sharpa North 一台轮式人形机器人、四个下游任务、每任务 20 次试验;仿真的证据只来自 RoboTwin 2.0,且其中的"非目标本体视频"其实是另一台机械臂的视频,不是真人第一视角视频;分词器训练仍需为片段准备原子动作描述(策略本身只从视频帧学习),预训练扩展分析只做到 2,678 小时,更大规模是否延续仍未知。以上为作者自述的限制,结论不宜外推到其他本体、任务或数据条件。
版本与核查范围
版本 2611.17110v2 · 原文定位与程序检查、独立上下文模型复核;不代表独立研究复现。。依据已核查材料整理;未运行模型或机器人。
原文与定位
- 原文链接 #abstract1.1;#abstract1.1;#abstract1.1;#S1.p4.1;#S2.SS3.p2.2;#S1.p5.1;#S3.SS3.SSS0.Px1.p1.1;#S3.T4.3;#S1.p5.1;#S1.p5.1;#S2.SS4.p1.1;#S5.p2.1
