内容摘要
人类操作视频可为灵巧机器人学习提供经验,但保留裸手交互外观时,难以同步获得运动与触觉监督。作者提出ExoBridge,利用双手协调操作形成跨手监督,学习从裸手视频到传感外骨骼状态的映射。
采集时,裸露左手操作一个物体,佩戴外骨骼的右手在另一份物体上协调执行同一任务,同步提供编码器和触觉测量;不要求双手关节轨迹完全一致。时序视觉模型学习预测指尖接触、连续触觉强度及相对初始状态的编码器变化,推理仅使用裸手RGB视频。
作者在四项操作任务的1,215段示范上,按采集会话划分五折并使用三个随机种子评估。汇总任一指尖接触AUROC为0.916,触觉强度Pearson相关系数为0.790;编码器通道0—9的运动平均绝对误差为4.15,零变化基线为7.51。结果限于既有任务内的留出会话和固定相机条件下的离线状态预测,尚未验证桥接预测驱动的闭环控制。
点评
将外骨骼测量用作另一只裸手视频的监督信号,提供了连接视觉示范与机器人相关状态空间的路径;运动输出通过既有标定关联机器人手。
证据来自作者论文,不是独立复现。触觉目标属于对侧外骨骼;配套机器人实验直接使用外骨骼示范,不能视为桥接预测的闭环验证。数据与评估代码仅声明将发布。
版本与核查范围
版本 2610.07692v1 · 原文定位与程序检查、独立上下文模型复核;不代表独立研究复现。。依据已核查材料整理;未运行模型或机器人。
原文与定位
- 原文链接 #abstract1.1;#abstract1.1;#S3.SS2.p1.1;#S1.p4.1;#abstract1.1;#S3.SS5.p1.1;#abstract1.1;#S4.SS3.p1.1;#S5.p1.1;#S5.p2.1;#S6.p1.1;#S6.p1.1
