内容摘要
远期目标图像难以指导抓取等准备动作,无引导的动作采样又使局部搜索低效。作者提出PILOT,用视觉子目标与策略先验分别引导任务推进和动作搜索。
方法由视频模型生成中间视觉子目标,学习策略初始化交叉熵方法(CEM),再用动作条件世界模型评估、优化候选动作;控制器执行一小段动作后重新观测并规划,而非直接执行策略输出。
作者在UR5e四项拾放任务中,每项对各方法测试20次。PILOT总体成功率为68.8%,无策略初始化版本为55.0%,直接执行策略为13.8%,直接面向最终目标规划为0.0%。长Push-T和LIBERO-10仿真中,相比直接执行同一策略,成功率分别高30和22个百分点。Push-T局部优化中,策略初始化用4轮达到通用初始化10轮的代价水平,同采样预算下最终规划代价低24.1%。
条件上,真机视频模型与策略均用同一组40条成功示范微调,但世界模型还使用约五小时随机交互数据,系统亦依赖基础模型预训练;不能将其理解为整个系统仅用40条示范训练。
点评
作者实验支持将任务阶段引导与局部动作搜索分工:视觉子目标帮助短预测时域规划推进任务,策略先验进一步改善搜索效率。
证据来自作者论文实验,真机范围限于UR5e四项桌面任务。不可达子目标、世界模型误判和受限探索均可能导致失败;固定子目标时序不适应交互延迟,视频生成与在线优化还会增加延迟,不能据此外推通用操作能力。
版本与核查范围
版本 2610.14335v1 · 原文定位与程序检查、独立上下文模型复核;不代表独立研究复现。。依据已核查材料整理;未运行模型或机器人。
原文与定位
- 原文链接 #abstract1.1;#S1.p6.1;#S3.p1.1;#S3.SS3.p3.1;#S4.SS2.p1.1;#abstract1.1;#abstract1.1;#abstract1.1;#S4.SS2.p2.1;#S5.p1.1;#S4.SS2.p4.1;#S6.p1.1
