跳至正文
原文导读 · 原标题中译

PILOT:利用视觉子目标与策略先验引导机器人操作的长时程世界模型规划

PILOT: Guiding Long-Horizon World-Model Planning for Robot Manipulation with Visual Subgoals and Policy Priors

材料发布 2026-10-10 · arXiv · 作者论文 · 核查 2026-10-18
图 2:PILOT 总览。一个视频预测模型根据当前观测与任务指令生成视觉子目标。对每个处于激活状态的子目标,学习得到的策略为 CEM(交叉熵方法)提供初始化,CEM 再借助以动作为条件的世界模型以及潜在空间中的子目标代价来优化候选动作序列。 图片出处
图 7:Push-T 规划效率。(a) 中等长度任务上的成功率与每次规划调用的平均耗时随 CEM 预算的变化关系,分别针对通用初始化,以及在 10 条、20 条、30 条示范上微调得到的先验;曲线为饱和指数拟合。(b) 在取自 90 个留出初始状态的相同规划问题上,有策略初始化与无策略初始化时 CEM 目标值随迭代的变化;代价以第一轮迭代时通用初始化的数值归一化,阴影表示标准误。 图片出处

内容摘要

远期目标图像难以指导抓取等准备动作,无引导的动作采样又使局部搜索低效。作者提出PILOT,用视觉子目标与策略先验分别引导任务推进和动作搜索。

方法由视频模型生成中间视觉子目标,学习策略初始化交叉熵方法(CEM),再用动作条件世界模型评估、优化候选动作;控制器执行一小段动作后重新观测并规划,而非直接执行策略输出。

作者在UR5e四项拾放任务中,每项对各方法测试20次。PILOT总体成功率为68.8%,无策略初始化版本为55.0%,直接执行策略为13.8%,直接面向最终目标规划为0.0%。长Push-T和LIBERO-10仿真中,相比直接执行同一策略,成功率分别高30和22个百分点。Push-T局部优化中,策略初始化用4轮达到通用初始化10轮的代价水平,同采样预算下最终规划代价低24.1%。

条件上,真机视频模型与策略均用同一组40条成功示范微调,但世界模型还使用约五小时随机交互数据,系统亦依赖基础模型预训练;不能将其理解为整个系统仅用40条示范训练。

点评

作者实验支持将任务阶段引导与局部动作搜索分工:视觉子目标帮助短预测时域规划推进任务,策略先验进一步改善搜索效率。

证据来自作者论文实验,真机范围限于UR5e四项桌面任务。不可达子目标、世界模型误判和受限探索均可能导致失败;固定子目标时序不适应交互延迟,视频生成与在线优化还会增加延迟,不能据此外推通用操作能力。

版本与核查范围

版本 2610.14335v1 · 原文定位与程序检查、独立上下文模型复核;不代表独立研究复现。。依据已核查材料整理;未运行模型或机器人。

原文与定位

  • 原文链接 #abstract1.1;#S1.p6.1;#S3.p1.1;#S3.SS3.p3.1;#S4.SS2.p1.1;#abstract1.1;#abstract1.1;#abstract1.1;#S4.SS2.p2.1;#S5.p1.1;#S4.SS2.p4.1;#S6.p1.1