内容摘要
机器人边操作物体边生成文字记忆时,动作要按控制周期更新,文字可以跨周期完成。作者指出,现有系统将两项任务分开推理,会重复处理同一观测并争抢算力。OxyGen面向多专家视觉—语言—动作模型(VLA),改变的是推理运行时的缓存与调度方式,为端侧并行动作和语言任务提供优化路径。
其核心是统一管理键值缓存(KV缓存):同一观测只编码一次,结果供动作和语言模块复用;再将不同控制周期中尚未完成的语言请求合批,在每周期限定的解码步数内推进,保存状态后续接,而非等整段文字生成完再更新动作。
作者在π₀.₅模型上报告:相同输出长度下,相比逐项顺序执行,动作生成频率和语言总吞吐量提高至1.2—3.7倍。搭载Jetson AGX Thor的人形机器人实验中,动作与语言路径合计耗时由1030毫秒降至393毫秒;该设置每次生成10个动作、使用10步动作去噪,语言请求长30个词元,每周期解码5步。收益存在取舍:减少每周期语言解码步数可提高动作生成频率,却可能延长单条语言请求的完成时间。
点评
对本体推理软件开发者,价值在于复用共享观测的计算,并让辅助语言任务跨控制周期推进;作者已基于openpi实现JAX和PyTorch后端。
结果来自作者论文实验,不是独立复现。当前实现使用固定的每周期解码步数;评估主要针对动作与语言并发,更多输出模态及端到端真实闭环应用仍待验证。
版本与核查范围
版本 2603.14371v5 · 原文定位与程序检查、独立上下文模型复核;不代表独立研究复现。。依据已核查材料整理;未运行模型或机器人。
原文与定位
- 原文链接 figcaption[9];#S3.SS1.SSS0.Px2.p1.1;#S2.SS0.SSS0.Px1.p1.1;#S3.SS1.SSS0.Px1.p1.2;#S1.p5.1;#S3.SS2.SSS0.Px1.p1.2;#S4.SS2.SSS0.Px1.p1.1;#S4.SS7.p1.1;#S4.SS7.p2.1;#S3.SS2.SSS0.Px2.p2.1;#S1.p6.1;#S5.SS0.SSS0.Px1.p1.1
