跳至正文
原文导读 · 原标题中译

OxyGen:多任务并行下视觉—语言—动作模型推理的统一键值缓存管理

OxyGen: Unified KV Cache Management for VLA Inference under Multi-Task Parallelism

材料发布 2026-10-16 · arXiv · 作者论文 · 核查 2026-10-23
图 2:第 t 帧以键值缓存(KV 缓存)为中心的数据流,由统一管理器调度。KV[t] 记录源于该帧的缓存:预填充部分见公式 1,语言解码继续加入词元的键值;ΔLanguage[t] 表示该帧新增的语言词元。 图片出处
图 8:左侧为搭载 Jetson AGX Thor 的人形机器人,右侧为实测各阶段延迟。两种方法的动作路径都包含一次预填充和动作去噪;基线语言路径需要第二次预填充与自回归解码,OxyGen 则复用动作路径预填充并批量解码。因此语言耗时下降同时来自缓存共享和合批。 图片出处

内容摘要

机器人边操作物体边生成文字记忆时,动作要按控制周期更新,文字可以跨周期完成。作者指出,现有系统将两项任务分开推理,会重复处理同一观测并争抢算力。OxyGen面向多专家视觉—语言—动作模型(VLA),改变的是推理运行时的缓存与调度方式,为端侧并行动作和语言任务提供优化路径。

其核心是统一管理键值缓存(KV缓存):同一观测只编码一次,结果供动作和语言模块复用;再将不同控制周期中尚未完成的语言请求合批,在每周期限定的解码步数内推进,保存状态后续接,而非等整段文字生成完再更新动作。

作者在π₀.₅模型上报告:相同输出长度下,相比逐项顺序执行,动作生成频率和语言总吞吐量提高至1.2—3.7倍。搭载Jetson AGX Thor的人形机器人实验中,动作与语言路径合计耗时由1030毫秒降至393毫秒;该设置每次生成10个动作、使用10步动作去噪,语言请求长30个词元,每周期解码5步。收益存在取舍:减少每周期语言解码步数可提高动作生成频率,却可能延长单条语言请求的完成时间。

点评

对本体推理软件开发者,价值在于复用共享观测的计算,并让辅助语言任务跨控制周期推进;作者已基于openpi实现JAX和PyTorch后端。

结果来自作者论文实验,不是独立复现。当前实现使用固定的每周期解码步数;评估主要针对动作与语言并发,更多输出模态及端到端真实闭环应用仍待验证。

版本与核查范围

版本 2603.14371v5 · 原文定位与程序检查、独立上下文模型复核;不代表独立研究复现。。依据已核查材料整理;未运行模型或机器人。

原文与定位

  • 原文链接 figcaption[9];#S3.SS1.SSS0.Px2.p1.1;#S2.SS0.SSS0.Px1.p1.1;#S3.SS1.SSS0.Px1.p1.2;#S1.p5.1;#S3.SS2.SSS0.Px1.p1.2;#S4.SS2.SSS0.Px1.p1.1;#S4.SS7.p1.1;#S4.SS7.p2.1;#S3.SS2.SSS0.Px2.p2.1;#S1.p6.1;#S5.SS0.SSS0.Px1.p1.1