DiVeR：面向VLA测试时扩展的决策关键性验证器学习

图 2：DiVeR 总体框架。(a) 在每个被访问到的状态下，我们从冻结的 VLA（视觉-语言-动作）策略中采样 K 个动作候选，并根据其动作专家表征（action-expert representation）的离散程度估计决策关键性 u_t。分数在每条轨迹内部做标准化，并转换为决策权重 w_t；这些权重与被执行动作的表征 z_t 以及轨迹结果 y_t 一同用于构建训练数据集 𝒟。(b) 验证器（verifier）采用决策加权的二元交叉熵进行训练，对 w_t 较大的状态赋予更高重要性。(c) 在推理阶段，验证器在每个决策步对 N 个采样得到的动作候选打分，并执行得分最高的动作块（action chunk）。图片出处

内容摘要

机器人数据采集成本限制了视觉—语言—动作（VLA）模型继续扩展。作者提出DiVeR，针对现有分类验证器将轨迹成败标签均匀用于各状态的问题：常规状态的候选动作相似，而少数关键状态的动作差异更可能影响后续结果。

DiVeR冻结基础策略，通过采样动作的动作专家表征离散程度估计决策关键性，在轨迹内标准化后生成权重，以加权二元交叉熵训练验证器。它利用轨迹级成败监督，不要求逐步标注或额外环境交互；推理时对多个候选动作评分，执行最高分动作块。

作者在LIBERO-Long、RoboCasa及Franka Research 3上评测。真机采用π₀.₅、每步16个候选，覆盖四项操作任务，每项评估24回合；平均成功率为71.9%，均匀训练验证器为65.6%，单样本基础策略为58.3%，原文报告分别提升6.3和13.6个百分点。低验证开销不等于低总推理成本：16候选时，π₀和π₀.₅的动作块采样延迟约为360和205毫秒，成本主要来自候选生成。

点评

该作者论文提示，VLA测试时扩展不仅取决于增加候选数量，也取决于让验证器重点学习动作差异真正影响结果的状态。

以上为作者实验结果。真机任务范围有限，尚不足以刻画跨更广环境和机器人本体的迁移；效果仍受冻结策略所生成候选的质量与多样性约束。

版本与核查范围

版本 2610.04933v1 · 原文定位与程序检查、独立上下文模型复核；不代表独立研究复现。。依据已核查材料整理；未运行模型或机器人。

原文与定位

原文链接 #S1.p1.1；#S1.p2.1；#S1.p4.1；figcaption[30]；#S1.p4.1；#A2.SS4.p1.1；#S5.SS1.p3.1；#S5.SS2.SSS0.Px2.p1.1；#A3.SS3.p1.1；#S6.p1.1；#A7.p1.1

内容摘要

点评

原文与定位

关联知识节点

收录报告