内容摘要
部署视觉-语言-动作模型(VLA,把图像与语言指令直接映射成机器人动作的模型)时,常见做法是每次只采一个动作块就执行。但生成式策略在同一观察下能给出质量差别很大的多个候选,单次采样等于丢掉这层分布,挑哪个候选便成了部署难题。这篇论文不训练新策略,而是把“选得更准”做得足够便宜。
机制分三步,用的是 hindsight(用已经发生的结局反过来当监督):先让冻结策略自主跑 rollout 收集数据;再用每条轨迹的终止成功或失败训练一个紧凑验证器,为每个候选动作块预测“最终任务成功率”分数;部署时策略用各自独立的随机噪声采出两个候选,验证器挑分数最高者执行其前 8 个动作。监督只来自终止结果,不需要专家对比、合成偏好或预测未来。
仿真侧(LIBERO-10 的四个多阶段任务,基线是从 π0.5 用 LoRA 微调后冻结的策略),HDH 平均成功率 82.3%,冻结基线 78.8%,从同样两个候选中随机挑是 77.5%;加入最近三次已完成查询的执行历史后,HDM 的 80.3% 升到 82.3%。时延上,单次查询中位数从 681 ms 增到 718 ms(+5.4%),GPT-5、GPT-6 这类视觉语言验证器则为 27,674 ms 和 7,403 ms。真机三个任务平均成功率 44.7%→67.3%,毛绒玩具放置 64%→94%,抽屉 38%→52%,柜子 32%→56%;Fisher 检验在毛绒玩具、柜子任务和合并统计上显著,抽屉任务不显著。
条件与限制:仿真每方法每任务用 50 个留出初始状态、三个随机种子共 600 个 episode;GPT-5 因推理慢只评 60 个 episode,比较不完全对等。限制还有验证器按任务单独训练、候选集只有 2 个(更大规模作者列为待验证)、时延为含仿真开销的端到端测量、真机时延分解待测、任务与机器人设置数量有限。以上为作者论文自报,本次材料未见独立复现。
点评
对做机器人本体与部署的工程师,实用点在于:不必重训策略,也不必准备专家偏好数据——监督可以直接来自策略自己的部署日志(用终止成功/失败打标签),在控制回路里只多出一次轻量打分与选择,论文测得每次策略查询的中位时间只多 5.4%。
验证器按任务单独训练,跨任务共享未做;候选集固定为 2 个,更大规模下的表现与开销是作者明确留下的开放问题;时延数字是含仿真开销的端到端测量,真机时延分解待测;GPT-5 只评 60 个 episode,与其他方法不完全对等;评估覆盖的任务与机器人设置数量有限。以上为作者论文自报结果,本次材料未见独立复现。
版本与核查范围
版本 2611.14834v1 · 原文定位与程序检查、独立上下文模型复核;不代表独立研究复现。。依据已核查材料整理;未运行模型或机器人。
原文与定位
- 原文链接 #S1.p1.1;#abstract1.1;#S1.p3.1;#A1.p6.1;#S4.SS1.p2.1;#S4.SS2.p2.1;#S4.SS3.p1.1;#S4.T1.4;#S4.T2.4;#A4.T6.4;#S4.SS1.p6.1;#S5.p2.1
