内容摘要
作者提出H-JEPA,将动作条件JEPA端到端训练为层级:各层在自身潜空间预测未来,高层时间步幅更粗;不使用奖励或重建目标。规划自顶向下展开,上层预测轨迹为下层提供子目标,底层输出原始动作。
作者在四个模拟导航与操作环境中,与单层LeWM基线比较。Visual AntMaze上,三层模型将成功率从18%提高至73%,同时减少规划计算量。深度比较先在平均每回合100规划TFLOPs以下选择配置,再在独立的50任务集评估,报告三个配对模型与规划器种子的均值和标准误。作者消融将收益归因于时间分解和高层目标表征。
收益不随层数稳定增加:Push-T三层模型即使在最大计算量下也表现不佳,作者推测与短回合限制训练数据有关。加入逆动力学监督后,作者在DROID真实机器人视频上报告以更少规划计算量改善离线规划保真度;该部分仅对照已记录专家轨迹评分,不是在线真机执行验证。不同深度的训练计算量未配平,选择性抽象也并非在所有环境出现。
点评
这项作者研究提示,层级结构可能通过时间分解及高层目标距离表征两条途径帮助规划;不能将收益仅归于其中一种机制。
不同深度的优化步数与训练FLOPs未配平;选择性抽象并非在所有环境出现。DROID结果仅支持离线轨迹评估,不能据此外推在线真机或通用操作能力。本文证据身份为作者论文,不作为独立复现结论。
版本与核查范围
版本 2610.06805v1 · 原文定位与程序检查、独立上下文模型复核;不代表独立研究复现。。依据已核查材料整理;未运行模型或机器人。
原文与定位
- 原文链接 #abstract1.1;#S1.p3.1;figcaption[21];#S2.SS2.p1.1;#abstract1.1;#S3.p2.1;#abstract1.1;#A5.SS0.SSS0.Px4.p1.1;#A5.SS0.SSS0.Px4.p1.1;#S4.SS1.p1.1;#abstract1.1;#A10.p1.1
