跳至正文
原文导读 · 原标题中译

通过流匹配中的条件退火重新思考因果动作词元化

Rethinking Causal Action Tokenization with Conditional Annealing in Flow Matching

材料发布 2026-09-28 · arXiv · 作者论文 · 核查 2026-10-18
图 2:CATok 概览。(a) CATok 流程:CATok 用双流编码器(Dual-Stream Encoder)将一个动作分块编码为潜在查询,再经瓶颈向量量化(Bottleneck VQ)将其离散化,最后用带条件退火(Conditional Annealing)的流匹配解码器(Flow-Matching Decoder)重建动作。(b) 条件退火机制:根据流匹配时间步 t,渐进地屏蔽序列中前 κ(t) 个词元嵌入(token embedding);颜色越深表示位置越靠前的词元,颜色越浅表示越靠后的词元,从而把每个词元分配到流轨迹的不同阶段。 图片出处
图 5:(a) SimplerEnv 基准上的训练效率。曲线经高斯平滑以减小评估的随机性,但不改变不同方法之间的相对排名。值得注意的是,CATok 仅用约 50% 的训练步数即达到基线方法中的最佳性能。(b) VLA(视觉-语言-动作模型)推理延迟。同时计入自回归生成与解码开销后,CATok 取得接近最小的端到端推理延迟,同时在所有方法中成功率最高。 图片出处

内容摘要

动作压缩得到的离散表示,未必适合自回归模型逐词元生成。作者提出因果动作词元化器CATok,将动作编码从单纯压缩改为具有生成阶段结构的表示学习,目标是让动作词元的组织方式与自回归VLA对齐。

其核心是条件退火:随流匹配时间推进,逐步屏蔽序列前部的词元,使早期词元提供整体动作引导,后期词元专注细节残差,形成由粗到细的层级。系统以双流编码器和瓶颈向量量化获得离散词元,再由MMDiT流匹配解码器重建连续动作块;接入VLA后,词元化器与解码器冻结,仅更新自回归骨干。

作者报告,移除条件退火后,消融实验平均成功率由0.959降至0.914。在SimplerEnv训练比较中,CATok约用FAST一半的训练步数达到其最佳表现。真机实验采用Franka平台,两个方法共享Qwen3.5-VL骨干及训练协议;CATok在空间、颜色和长时程三组任务上的成功率均比FAST高20个百分点。这些结果来自作者实验,真机验证仍限于单一平台与有限任务。

点评

该工作将动作词元的生成阶段结构与自回归预测目标对齐,为动作离散化提供了不只追求压缩与重建的设计方向。

作者尚未验证多样本体、传感配置、环境与动力学条件下的稳健性,也未研究大规模、多样化跨本体数据上的扩展性;不能据此外推通用机器人能力。

版本与核查范围

版本 2609.35469v1 · 原文定位与程序检查、独立上下文模型复核;不代表独立研究复现。。依据已核查材料整理;未运行模型或机器人。

原文与定位

  • 原文链接 #abstract1.1;#S3.SS2.p6.1;#S3.SS2.p7.1;#S3.SS2.p1.1;#S3.SS4.p1.1;#S3.SS4.p2.1;#A3.SS0.SSS0.Px1.p2.1;figcaption[80];#S4.SS2.p3.1;#S4.SS1.p3.1;#S4.SS1.p4.1;#S4.SS2.p4.1