跳至正文
原文导读 · 原标题中译

成功的多种路径:面向VLA泛化的多样性驱动强化学习微调

Many Ways to Succeed: Diversity-Driven RL Fine-Tuning for VLA Generalization

材料发布 2026-10-07 · arXiv · 作者论文 · 核查 2026-10-18
图 3:DRIVE 总览。(a) 将执行过程(rollout)编码为逐决策的特征轨迹。(b) GAK 通过在单调时间路径上柔性对齐特征序列来计算行为相似度,以处理执行速率不匹配的问题。(c) 成对相似度被转换为以成功为条件的探索多样性奖励,并加入环境奖励中以促进探索多样性。 图片出处

内容摘要

作者论文研究视觉—语言—动作(VLA)策略的强化学习微调:整体行为收缩与成功轨迹多样化可以并存,而标准二元任务奖励不能区分不同成功解法。作者据此提出DRIVE,在相同任务与环境条件下分组比较轨迹,用全局对齐核(GAK)处理时间错位,仅向成功轨迹提供相对多样性奖励,避免显式奖励不同形式的失败。

在LIBERO-Plus、ManiSkill3和RoboTwin 2.0仿真评测中,作者报告相对Vanilla RFT,π₀与π₀.₅的分布外成功率宏平均分别提升5.3和2.0个百分点。除另有说明外,同一基准—骨干设置内共享SFT初始化、训练时长、轨迹分布及PPO配置。

双臂AgileX PiPER-X实验中,作者报告分布外平均成功率由64.1%升至73.3%。策略先在对齐仿真中训练,再部署真机;测试为按铃和按订书机两项任务,包括干扰物、桌面背景和光照三类偏移,每个任务—条件组合测试20次。结论限于作者所测设置,不能外推通用能力。

点评

这项作者研究将成功解法的多样性纳入显式优化目标,为改善所测分布偏移下的VLA泛化提供了一种训练思路;这里呈现的是作者实验结果,而非独立研究复现。

组内两两GAK比较增加计算,并依赖VLM表征能否捕捉有意义的行为差异。更长时域、更多本体及在线真机微调仍待评估;真机结果仅支持所测任务与条件下的表现,不代表通用操作能力。

版本与核查范围

版本 2610.09943v1 · 原文定位与程序检查、独立上下文模型复核;不代表独立研究复现。。依据已核查材料整理;未运行模型或机器人。

原文与定位

  • 原文链接 #S1.p1.1;#S1.p2.1;#S1.p4.1;#S4.SS2.p1.1;#S4.SS2.p3.1;#A4.SS0.SSS0.Px3.p2.1;#S5.p2.1;#S6.p1.1;#A4.p1.1;#S5.SS3.p1.1;#S5.SS3.p2.1;#S5.SS3.p3.1