内容摘要
作者提出 Fast-VLA,将一次性任务理解与反复执行的闭环控制分离:每个回合开始时,冻结的 4B 视觉语言模型根据指令和初始多视角图像生成固定的多层键值任务记忆,随后退出重复控制回路。在线执行器把按时间和机械臂索引的可学习查询与当前视觉、本体感觉反馈融合,再检索任务记忆并预测动作块,无需重新运行大模型。
作者报告,RoboTwin 2.0 的 Clean 和 Randomized 成功率分别为 92.46% 和 92.40%,标准 LIBERO 与 LIBERO-Plus 分别为 95.95% 和 79.11%。在相同硬件测量中,相较 Faster-WAM(HUST)、DM0.5 和 Fast-WAM,RoboTwin 摊销策略推理耗时缩短 10.9—17.1 倍,计入了回合开始的一次性调用。
VLM 卸载后在线常驻显存为 1.22 GiB,但预填充峰值为 12.11 GiB。测试时固定执行器权重、替换任务记忆会导致成功率明显下降,支持执行器依赖与当前回合匹配的记忆,而非忽略任务上下文。
点评
论文提供了一种推理优化路径:固定任务上下文不等于开环执行,在线执行器仍利用实时视觉与本体感觉反馈更新动作。
结果属于作者论文评测;基线成功率混合采用已发表报告、基准汇编和作者对已发布检查点的评测,并非全部统一重测。回合中目标改变或新增指令尚未探索;低在线常驻显存也不代表低初始化峰值。
版本与核查范围
版本 2610.21389v1 · 原文定位与程序检查、独立上下文模型复核;不代表独立研究复现。。依据已核查材料整理;未运行模型或机器人。
原文与定位
- 原文链接 #S1.p4.1;#abstract1.1;#S1.p6.1;#S1.p6.1;#S4.T2.3;#S4.SS4.SSS0.Px1.p1.1;#S4.SS4.SSS0.Px1.p2.1;#S5.p1.1;#S1.p5.1;#S4.SS0.SSS0.Px2.p1.1;#A5.p1.1
