跳至正文
原文导读 · 原标题中译

原地卡住:JEPA 规划器的停滞诊断与补救方法

Stuck in Place: Stall Diagnosis and Remedies for JEPA Planners

材料发布 2026-11-19 · arXiv · 作者论文 · 核查 2026-11-20
图 1:一次 PushObj-T 回合(episode)的潜在代价(latent cost)与对应画面。上:基础 GD 规划器;下:Unstick-Mem(测试时权重固定)。实线:实际潜在代价;虚线:每个动作块(chunk)之后的预测值;箭头:每个动作块的预测下降量;灰色带:停滞(stall)区间。画面显示最后一步;蓝色:智能体;红色:停滞期间的智能体运动路径;虚线轮廓:目标。 图片出处
图 3:每种结果所对应的第一个回合(GD,种子 1)。每个三联组依次为:基础规划器、Unstick-Mem、Unstick-ReInit(PointMaze 中为:基础规划器、残差记忆、随机重初始化)。显示的是最后一帧;智能体路径从起点(∘)到最后一步(∙);绿色:方块目标;星号:迷宫目标;✓ k:在第 k 个 MPC 步(模型预测控制步)成功;✗ idle k:从第 k 个 MPC 步起一直停滞;✗:失败。 图片出处

内容摘要

JEPA(联合嵌入预测架构,预测未来帧嵌入而非像素的世界模型)配合模型预测控制(MPC)从像素直接规划,却常在自己模型本该能完成的任务上失败。既有做法把失败归因于分布漂移下的模型误差并在当前回合更新权重,却从未与规划回路对照。这篇论文沿实际执行的规划回路追查原因。

在推物任务上,作者发现不论有无分布漂移,至少 96% 的失败是停滞:物体停在原地,模型却预测出进展;暖启动的梯度下降(GD)规划器随后几乎返回同一个计划,陷入智能体基本空转的不动点。他们提出 Unstick:部署前用规划器自身执行数据做同策略微调,再加一个权重固定的“破环”部件——把本回合预测残差加回预测的残差记忆,或每次重规划随机重初始化。

在 PushObj 与 PushT 上,Unstick 拿到测试时适配方法 AdaJEPA 的大部分收益(四个设置 80% 与 82%,其中 Unstick-Mem 在 14 个设置合计 84%),已见 T 形块的成功率从基线水平明显抬升,部署时不更新权重也不计算参数梯度。开销接近基线:PushObj-T 上每个 MPC 步 7.4 秒(记忆)、6.8 秒(重初始化),基线 6.7 秒,逐回合更新权重的 AdaJEPA 8.3 秒。

收益有边界:视觉漂移下重初始化只拿到 31%;红色方块的失败源于编码器丢失方块角度(R² 由 0.95 降至 0.49),PointMaze 的失败出在规划目标的局部极小值,残差记忆最多只改变 5.3 个百分点。作者建议先在闭环中检查“状态有没有动、计划有没有重复”。

点评

对机器人本体软件工程师的价值:把“卡住”从模型精度问题重新判为规划回路问题,并给出两种不改权重、不算参数梯度的低成本修法——残差记忆与随机重初始化;配套的闭环诊断(看状态是否移动、计划是否重复)可直接当作 JEPA 规划器的调试步骤。

结论只覆盖一个 JEPA 家族、三个基准,且主要针对暖启动 GD 规划;CEM 下残差记忆增益有限。记忆随回合增长,长回合需设上限;同策略微调需要额外准备与评测回合分离的规划器执行数据。编码器丢失角度、目标陷入局部极小的场景(红色方块、PointMaze)两类修法基本无效。

版本与核查范围

版本 2611.25415v1 · 原文定位与程序检查、独立上下文模型复核;不代表独立研究复现。。依据已核查材料整理;未运行模型或机器人。

原文与定位

  • 原文链接 #abstract1.1;#abstract1.1;#S1.p4.1;#S1.p5.1;#S1.p5.1;#S5.SS2.p1.1;#S5.SS2.p1.1;#S5.SS2.p3.1;#S4.SS3.p1.2;#S5.SS1.p4.1;#S5.SS5.p1.1;#S5.SS5.p2.1