内容摘要
JEPA(联合嵌入预测架构,预测未来帧嵌入而非像素的世界模型)配合模型预测控制(MPC)从像素直接规划,却常在自己模型本该能完成的任务上失败。既有做法把失败归因于分布漂移下的模型误差并在当前回合更新权重,却从未与规划回路对照。这篇论文沿实际执行的规划回路追查原因。
在推物任务上,作者发现不论有无分布漂移,至少 96% 的失败是停滞:物体停在原地,模型却预测出进展;暖启动的梯度下降(GD)规划器随后几乎返回同一个计划,陷入智能体基本空转的不动点。他们提出 Unstick:部署前用规划器自身执行数据做同策略微调,再加一个权重固定的“破环”部件——把本回合预测残差加回预测的残差记忆,或每次重规划随机重初始化。
在 PushObj 与 PushT 上,Unstick 拿到测试时适配方法 AdaJEPA 的大部分收益(四个设置 80% 与 82%,其中 Unstick-Mem 在 14 个设置合计 84%),已见 T 形块的成功率从基线水平明显抬升,部署时不更新权重也不计算参数梯度。开销接近基线:PushObj-T 上每个 MPC 步 7.4 秒(记忆)、6.8 秒(重初始化),基线 6.7 秒,逐回合更新权重的 AdaJEPA 8.3 秒。
收益有边界:视觉漂移下重初始化只拿到 31%;红色方块的失败源于编码器丢失方块角度(R² 由 0.95 降至 0.49),PointMaze 的失败出在规划目标的局部极小值,残差记忆最多只改变 5.3 个百分点。作者建议先在闭环中检查“状态有没有动、计划有没有重复”。
点评
对机器人本体软件工程师的价值:把“卡住”从模型精度问题重新判为规划回路问题,并给出两种不改权重、不算参数梯度的低成本修法——残差记忆与随机重初始化;配套的闭环诊断(看状态是否移动、计划是否重复)可直接当作 JEPA 规划器的调试步骤。
结论只覆盖一个 JEPA 家族、三个基准,且主要针对暖启动 GD 规划;CEM 下残差记忆增益有限。记忆随回合增长,长回合需设上限;同策略微调需要额外准备与评测回合分离的规划器执行数据。编码器丢失角度、目标陷入局部极小的场景(红色方块、PointMaze)两类修法基本无效。
版本与核查范围
版本 2611.25415v1 · 原文定位与程序检查、独立上下文模型复核;不代表独立研究复现。。依据已核查材料整理;未运行模型或机器人。
原文与定位
- 原文链接 #abstract1.1;#abstract1.1;#S1.p4.1;#S1.p5.1;#S1.p5.1;#S5.SS2.p1.1;#S5.SS2.p1.1;#S5.SS2.p3.1;#S4.SS3.p1.2;#S5.SS1.p4.1;#S5.SS5.p1.1;#S5.SS5.p2.1
