内容摘要
作者提出 EgoJEPA，尝试绕过基于规则的人到机器人动作重定向，从第一视角人类视频学习可跨本体复用的动作表征。方法分三阶段：先以相邻帧手部标注差分为条件，通过 JEPA 式视觉预测学习与动作效果关联的潜在动作；再用联合流匹配，同时预测未来视觉动态和潜在动作；最后利用机器人示范及本体专用输入、输出适配器，将共享表征接入目标机器人，并联合微调视频与动作 Transformer，而非仅训练适配器。
作者在 Sharpa 灵巧手、Wuji 灵巧手和 Xense Tac UMI 夹爪上测试五项真实操作任务。域外测试覆盖未见物体及超出训练分布的位置、朝向，各任务每种设置进行 20 次试验，以完整完成任务判定成功。论文报告域外平均成功率为 74%，重定向基线为 65%；五项任务累计墙钟训练时间从 743.2 小时降至 392.7 小时，减少 47.2%。该时间口径包含重定向基线的 CPU 标定环节，不是 GPU 小时；其效率收益来自跨本体复用前两阶段模型。
点评
提供了一条以共享潜在动作连接人类视频预训练与机器人控制的路线；作者实验支持其在所测本体间复用预训练、降低重复适配开销的价值。
结果限于作者的五任务、三本体评测，不宜外推通用操作能力。方法仍依赖手部标注与机器人示范；严重时序错位、长时间遮挡及精细接触任务仍构成限制。
版本与核查范围
版本 2610.20904v1 · 原文定位与程序检查、独立上下文模型复核；不代表独立研究复现。。依据已核查材料整理；未运行模型或机器人。
原文与定位
- 原文链接 #S1.I1.i1.p1.1；#S3.SS1.p1.1；#S3.SS1.p2.2；#S3.SS2.p2.2；#S3.SS3.p1.1；#A1.SS2.p1.1；#S4.SS1.p2.1；#S4.SS1.p4.1；#S4.SS2.p1.1；#S4.SS3.p7.1；#S4.SS3.p7.1；#S4.SS3.p7.1