内容摘要
要解决的具体问题:给已训练好的 VLA(视觉-语言-动作机器人策略模型)做后训练时,监督微调需要大量专家示教,强化学习要在真实机器人上反复探索、还可能碰撞磨损硬件。作者改用世界模型在"想象"里预演候选动作,但主张瓶颈不在预测准不准,而在想象怎么调度:放在哪些状态、推多远、结果如何变成可信监督。
WISE 的做法是:用 DINOv2 ViT-L/14 编码腕部与第三人称两个视角的图像,配一个轻量 MLP 给当前上下文打交互相关性分,只有被判为交互相关的状态才生成候选动作并做有界的世界模型 rollout,否则跳过想象;世界模型是冻结的、由 Open-Sora 改造而来的动作条件多视角预测模型;奖励模型从想象观测中读出任务进度、预测置信度与任务完成三类信号来比较候选动作。想象画面只用于给候选打分,被直接监督的只有真实上下文中的第一个动作块;世界模型与 VLA 主干全程冻结、只训动作头,每次更新前从选中上下文累积 256 条 rollout。
结果均为作者自测:五个 MimicGen 任务上 π₀ 平均成功率 49.7%→59.5%(+9.8 点),比最强基线 π₀+DPO 高 5.7 点,π₀.₅ 为 52.3%→60.2%;真机在 Galaxea R1 Lite 四个任务上,π₀ 标准设置 60.0%→77.5%、泛化设置 42.5%→68.8%。调度消融中,相比每步都想象,选中状态少约 80%、GPU 时间少 77%,成功率反高 7.9 点。
点评
对做机器人本体软件、机器人策略工程的开发者,可参考的是它的工程结构而非结论数字。第一,调度与评估只依赖策略本来就要用的两个相机视角,调度器用机器人执行信号构造弱监督、训练之后只需视觉观测即可判断哪些状态值得想象,因此可以作为旁路模块接进现有策略循环,不必额外做人工任务阶段标注,也不占用真机交互预算。第二,后训练阶段世界模型与 VLA 主干保持冻结、只更新动作头参数,意味着可以在已有 VLA 微调流水线之后追加一段后训练,而不必重训主干。第三,"想象出的画面只用于比较候选动作、被直接监督的只有真实上下文的第一个动作块"这一约束,避免合成画面直接进入策略的训练分布,这正是许多用生成模型辅助策略优化的方法容易踩的坑。算力层面,选中状态少约 80%、GPU 时间少 77% 这组数字对有 GPU 预算约束的团队最有直接参考意义。需要提醒的是:以上效率与成功率结论全部来自作者自己的仿真与真机评测,本次核查未见独立复现,方法在冻结世界模型上的实现细节也依赖作者提供的配置。
证据身份:全部结果来自作者论文的自测,本次核查未见独立复现;论文声明源码仍在匿名仓库、待发表后公开。覆盖范围有限:仿真只有五个 MimicGen 任务,真机只有 Galaxea R1 Lite 一个平台、四个任务,真机独立试验次数少、样本量偏小;泛化评测只覆盖交互高度、光照、干扰物和指令改写四类受控变化,属于作者自设的受控扰动,不等于真实部署中的分布漂移。对比方面只与作者选取的若干后训练基线比较,未与世界模型类方法做直接对比,因此"选择性想象优于其它调度方式"这一结论目前只在作者自己的实验设定内成立。方法本身也有边界:世界模型是冻结的改造版 Open-Sora,rollout 视野有界,作者在伦理声明中称该方法面向机器人学习研究、不针对安全关键自主部署;作者另自述当前调度采用固定想象视野与粗粒度阶段监督,把自适应视野和更细粒度调度列为未来工作。
版本与核查范围
版本 2609.03681v2 · 原文定位与程序检查、独立上下文模型复核;不代表独立研究复现。。依据已核查材料整理;未运行模型或机器人。
原文与定位
- 原文链接 #Sx1.p1.1;#A2.SS1.SSS0.Px1.p1.1;#S3.SS3.p3.1;#S3.SS3.p5.1;#S3.SS2.p3.1;#S3.SS4.p3.1;#S3.SS4.p16.1;#A1.p2.1;#S4.SS2.p1.1;#S4.SS3.p3.1;#S4.SS4.p1.1;#S4.SS4.p3.1
