跳至正文
原文导读 · 原标题中译

PILOT:用想象出的子目标与策略先验引导机器操作的长时程世界模型规划

PILOT: Guiding Long-Horizon World-Model Planning for Robot Manipulation with Imagined Subgoals and Policy Priors

材料发布 2026-11-19 · arXiv · 作者论文 · 核查 2026-11-20
图 2:PILOT 总览。视频预测模型根据当前观测与任务指令生成视觉子目标。对每个活跃子目标,学习到的策略初始化 CEM(交叉熵方法),后者使用动作条件世界模型与潜在空间子目标代价来优化候选动作序列。 图片出处
图 5:策略先验初始化对真实机器人 Bowl-Bowl 任务上局部规划效率的影响。(a) 策略引导的初始化在有限的在线规划预算下取得更高的任务成功率。(b) 该先验提供了代价更低的初始化,并在 CEM 优化过程中保持更低的规划代价。 图片出处

内容摘要

机器人做"把杯子放进碗"这类取放任务,要经历接近、抓取、搬运、放置多个阶段;这类任务难在三点:只给出最终目标图像时,对"准备动作"几乎没有指导;中间子目标图像靠人工准备不现实;动作采样从通用分布起步,搜索效率低。PILOT(Policy-Initialized Local Optimization with Temporal subgoals)把两个预训练基础模型的先验引入世界模型规划:视频生成模型把一句语言指令变成一串视觉子目标,负责下一步去哪;视觉-语言-动作策略(VLA,把图像与语言直接映射为机器人动作的模型)为交叉熵方法(CEM,一种无需对动力学模型求导的采样优化器)提供初始动作序列,负责在哪儿搜;CEM 再用动作条件世界模型的预测,把动作序列朝当前子目标精修。因为子目标由语言生成,测试时不需要目标图像,只给指令和当前画面。

开销的节奏要分清:视频模型在每个回合开始时生成一次子目标序列并按序处理,之后每次规划调用才在线跑一轮 CEM 优化。

真机部分在 UR5e 的四个取放类任务上评测,视频模型与策略用同一批 40 条专家示范(每个任务 10 条)微调:PILOT 成功率 68.8%,去掉策略初始化、只用生成子目标为 55.0%,直接执行同一策略为 13.8%,直接朝最终目标规划为 0.0%。仿真中,长 Push-T 任务上比直接执行同一策略高 30 个百分点,LIBERO-10 上高 22 个百分点(PILOT 达 60.0%)。两个先验互补,且策略先验不必强:单独只能在 3.3% 的中等长度 Push-T 任务上成功的策略,拿来当初值依然有效。

限制也很直接:作者列出的失效模式包括生成子目标不可达、世界模型误差把动作排错、策略中心采样限制探索;视频生成加在线优化相比直接执行策略会带来额外时延;真机只验证了 UR5e 的四个任务,仿真只有 Push-T 与 LIBERO-10。以专家轨迹帧作子目标时 LIBERO-10 达 88.0%,提示时序引导仍有改进空间,但作者明确说明这一对照并不是严格上界。

点评

对做机器人本体软件的工程师,可落地的思路是在规划层加两段适配:用视频模型把语言指令变成分阶段视觉子目标,用现成的 VLA 策略给 CEM 热启动,不必人工准备目标图像或中间子目标;策略本身再弱也能当先验用。代价要按部署节奏估:每个回合需要在线生成一次视频子目标,每次规划调用再在线跑一轮 CEM,比直接执行策略多出时延和算力;子目标按固定日程推进,执行落后时不会自动调整时序,失败抓取后的恢复较难。

文中数字均为作者在自有设置下的报告,未经独立复现;真机只覆盖 UR5e 的四个取放任务,仿真只有 Push-T 与 LIBERO-10 两个基准。已知失效点是生成子目标不可达、世界模型误差导致动作排序错误、策略中心采样限制探索,以及视频生成加在线优化带来的额外时延。固定子目标日程无法应对延迟交互。用专家轨迹帧替换子目标只是对照实验,作者明确说明它不是严格上界,因此不能据此断定瓶颈位置。

版本与核查范围

版本 2610.14335v2 · 原文定位与程序检查、独立上下文模型复核;不代表独立研究复现。。依据已核查材料整理;未运行模型或机器人。

原文与定位

  • 原文链接 #abstract1.1;#S1.p6.1;#S1.p6.1;#S3.SS4.p1.1;#S3.p1.1;#S4.SS2.p1.1;#S1.I1.i2;#abstract1.1;#S5.p1.1;#S4.SS3.p10.1;#abstract1.1;#S6.p1.1