跳至正文
原文导读 · 原标题中译

H-JEPA:面向视觉规划的分层世界模型端到端学习

H-JEPA: End-to-End Learning of Hierarchical World Models for Visual Planning

材料发布 2026-10-06 · arXiv · 作者论文 · 核查 2026-10-18
图1:分层抽象支持多时间尺度的规划。左:在 Visual AntMaze(视觉蚂蚁迷宫)中分层规划的可视化。第 3 层在最抽象的潜在空间(latent space)中朝最终目标进行规划;它预测出的第一个状态成为第 2 层规划器的子目标(subgoal),该分解递归传递到第 1 层规划器,后者输出原始动作。第一列与最后一列分别解码各层的起始潜在变量与目标潜在变量,中间列解码该层规划出的预测结果。更高层的潜在变量保留蚂蚁的位置与迷宫布局,同时丢失腿部姿态细节。形式化规划流程见 §2.2。右:在 AntMaze 上规划成功率与规划器计算量之间的关系。曲线给出平坦(flat)的 LeWM [53] 与两层/三层 H-JEPA 的帕累托前沿(Pareto front);误差棒为三对模型与规划器随机种子(seed)上的标准误(SE)(§4.1)。 图片出处

内容摘要

作者提出H-JEPA,将动作条件JEPA端到端训练为层级:各层在自身潜空间预测未来,高层时间步幅更粗;不使用奖励或重建目标。规划自顶向下展开,上层预测轨迹为下层提供子目标,底层输出原始动作。

作者在四个模拟导航与操作环境中,与单层LeWM基线比较。Visual AntMaze上,三层模型将成功率从18%提高至73%,同时减少规划计算量。深度比较先在平均每回合100规划TFLOPs以下选择配置,再在独立的50任务集评估,报告三个配对模型与规划器种子的均值和标准误。作者消融将收益归因于时间分解和高层目标表征。

收益不随层数稳定增加:Push-T三层模型即使在最大计算量下也表现不佳,作者推测与短回合限制训练数据有关。加入逆动力学监督后,作者在DROID真实机器人视频上报告以更少规划计算量改善离线规划保真度;该部分仅对照已记录专家轨迹评分,不是在线真机执行验证。不同深度的训练计算量未配平,选择性抽象也并非在所有环境出现。

点评

这项作者研究提示,层级结构可能通过时间分解及高层目标距离表征两条途径帮助规划;不能将收益仅归于其中一种机制。

不同深度的优化步数与训练FLOPs未配平;选择性抽象并非在所有环境出现。DROID结果仅支持离线轨迹评估,不能据此外推在线真机或通用操作能力。本文证据身份为作者论文,不作为独立复现结论。

版本与核查范围

版本 2610.06805v1 · 原文定位与程序检查、独立上下文模型复核;不代表独立研究复现。。依据已核查材料整理;未运行模型或机器人。

原文与定位

  • 原文链接 #abstract1.1;#S1.p3.1;figcaption[21];#S2.SS2.p1.1;#abstract1.1;#S3.p2.1;#abstract1.1;#A5.SS0.SSS0.Px4.p1.1;#A5.SS0.SSS0.Px4.p1.1;#S4.SS1.p1.1;#abstract1.1;#A10.p1.1