内容摘要
机器人做"把杯子放进碗"这类取放任务,要经历接近、抓取、搬运、放置多个阶段;这类任务难在三点:只给出最终目标图像时,对"准备动作"几乎没有指导;中间子目标图像靠人工准备不现实;动作采样从通用分布起步,搜索效率低。PILOT(Policy-Initialized Local Optimization with Temporal subgoals)把两个预训练基础模型的先验引入世界模型规划:视频生成模型把一句语言指令变成一串视觉子目标,负责下一步去哪;视觉-语言-动作策略(VLA,把图像与语言直接映射为机器人动作的模型)为交叉熵方法(CEM,一种无需对动力学模型求导的采样优化器)提供初始动作序列,负责在哪儿搜;CEM 再用动作条件世界模型的预测,把动作序列朝当前子目标精修。因为子目标由语言生成,测试时不需要目标图像,只给指令和当前画面。
开销的节奏要分清:视频模型在每个回合开始时生成一次子目标序列并按序处理,之后每次规划调用才在线跑一轮 CEM 优化。
真机部分在 UR5e 的四个取放类任务上评测,视频模型与策略用同一批 40 条专家示范(每个任务 10 条)微调:PILOT 成功率 68.8%,去掉策略初始化、只用生成子目标为 55.0%,直接执行同一策略为 13.8%,直接朝最终目标规划为 0.0%。仿真中,长 Push-T 任务上比直接执行同一策略高 30 个百分点,LIBERO-10 上高 22 个百分点(PILOT 达 60.0%)。两个先验互补,且策略先验不必强:单独只能在 3.3% 的中等长度 Push-T 任务上成功的策略,拿来当初值依然有效。
限制也很直接:作者列出的失效模式包括生成子目标不可达、世界模型误差把动作排错、策略中心采样限制探索;视频生成加在线优化相比直接执行策略会带来额外时延;真机只验证了 UR5e 的四个任务,仿真只有 Push-T 与 LIBERO-10。以专家轨迹帧作子目标时 LIBERO-10 达 88.0%,提示时序引导仍有改进空间,但作者明确说明这一对照并不是严格上界。
点评
对做机器人本体软件的工程师,可落地的思路是在规划层加两段适配:用视频模型把语言指令变成分阶段视觉子目标,用现成的 VLA 策略给 CEM 热启动,不必人工准备目标图像或中间子目标;策略本身再弱也能当先验用。代价要按部署节奏估:每个回合需要在线生成一次视频子目标,每次规划调用再在线跑一轮 CEM,比直接执行策略多出时延和算力;子目标按固定日程推进,执行落后时不会自动调整时序,失败抓取后的恢复较难。
文中数字均为作者在自有设置下的报告,未经独立复现;真机只覆盖 UR5e 的四个取放任务,仿真只有 Push-T 与 LIBERO-10 两个基准。已知失效点是生成子目标不可达、世界模型误差导致动作排序错误、策略中心采样限制探索,以及视频生成加在线优化带来的额外时延。固定子目标日程无法应对延迟交互。用专家轨迹帧替换子目标只是对照实验,作者明确说明它不是严格上界,因此不能据此断定瓶颈位置。
版本与核查范围
版本 2610.14335v2 · 原文定位与程序检查、独立上下文模型复核;不代表独立研究复现。。依据已核查材料整理;未运行模型或机器人。
原文与定位
- 原文链接 #abstract1.1;#S1.p6.1;#S1.p6.1;#S3.SS4.p1.1;#S3.p1.1;#S4.SS2.p1.1;#S1.I1.i2;#abstract1.1;#S5.p1.1;#S4.SS3.p10.1;#abstract1.1;#S6.p1.1
