内容摘要
作者论文研究视觉—语言—动作(VLA)策略的强化学习微调:整体行为收缩与成功轨迹多样化可以并存,而标准二元任务奖励不能区分不同成功解法。作者据此提出DRIVE,在相同任务与环境条件下分组比较轨迹,用全局对齐核(GAK)处理时间错位,仅向成功轨迹提供相对多样性奖励,避免显式奖励不同形式的失败。
在LIBERO-Plus、ManiSkill3和RoboTwin 2.0仿真评测中,作者报告相对Vanilla RFT,π₀与π₀.₅的分布外成功率宏平均分别提升5.3和2.0个百分点。除另有说明外,同一基准—骨干设置内共享SFT初始化、训练时长、轨迹分布及PPO配置。
双臂AgileX PiPER-X实验中,作者报告分布外平均成功率由64.1%升至73.3%。策略先在对齐仿真中训练,再部署真机;测试为按铃和按订书机两项任务,包括干扰物、桌面背景和光照三类偏移,每个任务—条件组合测试20次。结论限于作者所测设置,不能外推通用能力。
点评
这项作者研究将成功解法的多样性纳入显式优化目标,为改善所测分布偏移下的VLA泛化提供了一种训练思路;这里呈现的是作者实验结果,而非独立研究复现。
组内两两GAK比较增加计算,并依赖VLM表征能否捕捉有意义的行为差异。更长时域、更多本体及在线真机微调仍待评估;真机结果仅支持所测任务与条件下的表现,不代表通用操作能力。
版本与核查范围
版本 2610.09943v1 · 原文定位与程序检查、独立上下文模型复核;不代表独立研究复现。。依据已核查材料整理;未运行模型或机器人。
原文与定位
- 原文链接 #S1.p1.1;#S1.p2.1;#S1.p4.1;#S4.SS2.p1.1;#S4.SS2.p3.1;#A4.SS0.SSS0.Px3.p2.1;#S5.p2.1;#S6.p1.1;#A4.p1.1;#S5.SS3.p1.1;#S5.SS3.p2.1;#S5.SS3.p3.1
