跳至正文
原文导读 · 原标题中译

TEMPO:面向视觉-语言-动作模型的语义-动作解耦强化学习后训练

TEMPO: Semantic-Action Decoupled RL Post-Training for Vision-Language-Action Models

材料发布 2026-11-12 · arXiv · 作者论文 · 核查 2026-11-14
图3:三条 FLOWER 失败轨迹(行)上的潜在动作(latent-action)对比,列为 FLOWER、FLOWER-RL 与 TEMPO,更新比例为 1:1–5:1。模型在每条轨迹上共享 36 个决策输入点,相邻输入点间隔 10 个环境步。每行内部,归一化的潜在动作摘要先由 PCA 联合降维(1,024 维降至 50 维),再做 t-SNE,各列共用同一套坐标。颜色表示来源环境步,实线连接相继的输入点。圆圈和方块分别标记起点与终点;灰色虚线给出 FLOWER 的参考轨迹。 图片出处

内容摘要

要解决的具体任务:让预训练的视觉-语言-动作模型(VLA,输入相机观测加一句语言指令、输出机器人动作块)在自己的交互中继续变好,通常靠在线强化学习(RL,模型与环境交互、用任务奖励更新参数)后训练。作者指出,监督微调(SFT,用示范数据训练)本身受分布不匹配限制,而现有 RL 方法常把模型里所有可训练模块放进同一条 RL 循环、以同一频率更新,忽略了这些模块的功能角色不同。

这次改变了什么:TEMPO 把更新频率拆成两档。冻结预训练视觉语言主干,只适配输出潜在动作的语义投影层和把潜在动作变成可执行动作块的动作专家,并给两者各配一条模块级 TD3(actor-critic 类)算法循环,各带独立回放缓冲区与评论家,共享同一批环境 rollout。语义投影层更新得更少、动作专家更新得更频繁;作者的解释是,语义投影层更新过频会引起潜在动作漂移、让动作专家的优化目标不断移动,而动作专家又必须足够快地吸收交互反馈。

结果(均为作者在本文自报):CALVIN ABC→D 长程基准上,SR5(五段指令链全部完成的成功率)为 81.70±0.40%(三个种子),单循环 RL 后训练基线 FLOWER-RL 为 78.70±0.70%,表中最强的已列基线 DeFI 为 81.2%,预训练参考策略 FLOWER 为 77.8%,对应平均连续完成长度分别为 4.58±0.005、4.52±0.028、4.51、4.49。频率比 5:1 和 10:1 相对 FLOWER 分别把 SR5 提高 3.9 和 3.4 个点,等频 1:1 的双循环反而低 0.1 点,平均连续完成长度从 4.49 降到 4.46。潜在动作漂移在等频 1:1 时最大为 0.641,4:1、5:1 降到 0.409、0.424,对应目标任务成功率 98.0%、96.0%,高于 FLOWER-RL 的 68.0% 与 1:1 的 66.0%。真机侧在 6 自由度 Synria Alicia-D 机械臂加单自由度夹爪、两台 RealSense 相机(D435i 看工作区第三人称视角,腕部 D405 看近距)的平台上做三个多阶段操作任务,每任务 60 条人类演示共 180 条,在线 RL 后训练后期 TEMPO 的评估奖励高于并保持在 FLOWER-RL 之上。

点评

对做 VLA 在线后训练的工程师,可借鉴的是一种模块级 RL 拆法:把语义接口和动作专家分到各自的 TD3 循环,用更新频率差去对齐两者不同的适应需求(语义侧慢、动作侧快),同时冻结主干以保住预训练的语义知识。落地前提是模型结构里要有一个可冻结的视觉语言主干,以及一个能与动作专家分开优化的条件接口——作者在 FLOWER 之外把同一方法用到了 VLA-Adapter-Pro(用其原生的分层 key/value 投影充当语义投影模块),SR5 从 77.23% 提到 79.17%,平均连续完成长度从 4.437 提到 4.487。工程代价是两条循环各要维护一套回放缓冲区、评论家等组件。频率设置上,5:1、10:1 相对预训练策略分别高 3.9 与 3.4 个点,而等频 1:1 反而略低,说明收益来自两个模块都参与更新、且两者更新频率存在差别。以上均为作者论文自报,未见独立复现材料。

全部结果为作者在本文自报,未见独立复现材料。方法有前提:模型要有可冻结的视觉语言主干,并有一个能脱离动作专家单独优化的条件接口;作者分别在 FLOWER 和 VLA-Adapter-Pro 上做了验证。指标口径较窄:漂移的离散度反映的是探测轨迹之间的差异、而非训练种子之间的差异,目标任务成功率是在同一初始状态下做 50 次试验、每次上限 360 环境步得到的,不宜外推到其他任务或策略。证据类型也不统一:模拟侧给的是 CALVIN ABC→D 长程基准上的 SR5、平均连续完成长度与漂移指标,真机侧给的是三个多阶段操作任务后训练过程中的评估奖励,两者的衡量口径并不相同。

版本与核查范围

版本 2608.07314v2 · 原文定位与程序检查、独立上下文模型复核;不代表独立研究复现。。依据已核查材料整理;未运行模型或机器人。

原文与定位

  • 原文链接 #abstract1.1;#S1.p4.1;figcaption[25];#S4.SS2.p1.1;#S4.T1.2;#S4.SS2.p4.1;#S4.SS2.p7.1;#S4.SS2.p6.2;#S4.SS2.p11.1;#S4.SS2.p12.1;#S4.SS3.p1.1;#S4.SS3.p5.1