跳至正文
原文导读 · 原标题中译

GeoMem-VLA:把三维场景理解内化为时序记忆的视觉-语言-动作模型

GeoMem-VLA: Internalizing 3D Scene Understanding into Temporal Memory for Vision-Language-Action Models

材料发布 2026-10-21 · arXiv · 作者论文 · 核查 2026-11-01
图2(原 Figure 2):GeoMem-VLA 的架构。图像、语言与可学习的 3D 标记 token(marker tokens)由 VLM(视觉语言模型,vision-language model)编码。几何分支使用场景几何目标(scene-geometry targets)以及由演示数据导出的未来末端执行器轨迹(end-effector tracks)进行训练,而动作专家(action expert)则训练用于预测机器人动作。几何特征与观测特征保存在情景记忆(episodic memory)中并被融合,构成用于动作生成的上下文。几何教师(geometry teacher)与重建头(reconstruction head)仅在训练期间使用。 图片出处
图4(原 Figure 4):GeoMem-VLA 的真实世界操作评测。该图展示了真实世界实验的任务设置以及跨五个任务的成功率。每个柱条报告的是 10 次独立闭环部署(closed-loop rollouts)上的成功率(原文:Each bar reports the success rate over 10 independent closed-loop rollouts)。 图片出处

内容摘要

多数视觉-语言-动作模型(VLA,把图像与语言指令转成机器人动作的模型)只看当前一帧的 2D 图像,单独推断出的几何信息用完即弃,没有沉淀成可累积的任务表示。GeoMem-VLA 的判断是:动作生成需要一份紧凑、与任务相关、能持续更新的几何抽象,而不是每步都给出完整 3D 重建。

做法是把显式 3D 监督“内化”成少量可学习的几何 token(GeoPlan)。训练时冻结的几何基础模型 VGGT 提供当前场景点图目标、演示轨迹提供未来末端执行器(机械臂末端)轨迹,二者合成几何流匹配目标来监督 token;token 与观测表示一起写进整段回合的记忆,每步检索历史并与当前观测自适应融合,相似条目被合并压缩,只留特征差异明显的状态。部署时几何教师与几何解码头从动作推理链路移除,几何只以隐向量留在策略内部,检索、融合与合并逻辑仍需自行实现。

作者自测、按基准适配后:LIBERO 四套件平均 98.9%(Long 套件 96.6%);RoboTwin 2.0 清洁/随机化 91.10%/91.24%,平均 91.17%;5 个真机任务平均 78.0%。消融显示两个模块都有贡献:去掉几何分支,LIBERO 降至 97.9%、RoboTwin 降至 89.71%;去掉时序记忆分别为 98.2% 与 90.18%。真机每任务只有 10 次独立闭环 rollout,且须完成全部流程才算成功。

点评

给机器人本体软件工程师,可迁移的是“几何监督 + 因果时序检索 + 相似条目合并”这套记忆结构:几何在训练期由冻结教师教成 token,部署期只作为回合记忆被检索,推理链路里无需挂载 3D 模型与几何解码头,但检索、门控融合与合并逻辑仍要在策略内部实现。表中领先幅度来自训练数据与协议不一致的横向对比,只能当参考;真正指向两个模块价值的是同协议消融:LIBERO 上两项差距都不大,RoboTwin 上也只在 50 个任务中的 35 与 27 个上占优。

作者自己写明:与已发表方法的横向对比因训练数据、输入和协议不同,只是提供上下文,不构成受控排名;表 1、表 2 中各方法结果引用各自原始来源并保留其协议。消融的绝对差距在 LIBERO 上很小(去掉几何分支 Spatial 掉 1.6、Long 掉 1.4;去掉时序记忆 Long 由 96.6% 降到 94.2%),50 个 RoboTwin 任务中全模型也只在 35 与 27 个任务上占优,收益并非逐任务普遍。评测规模:LIBERO 每任务 50 次试验、RoboTwin 每任务每设置 100 次;真机每任务仅 10 次独立 rollout,必须完成全部流程才算成功、部分完成记为失败,样本很小;作者另声明真机结果不能说明面向人或无约束场景下的安全性。可复现性方面,作者只承诺代码在论文发表后公开,本次核查仅拿到 arXiv HTML 正文与表格快照,未见可直接取用的代码产物,也未做独立复现。

版本与核查范围

版本 2610.29866v1 · 原文定位与程序检查、独立上下文模型复核;不代表独立研究复现。。依据已核查材料整理;未运行模型或机器人。

原文与定位

  • 原文链接 #abstract1.1;#abstract1.1;#S1.p4.1;#S3.SS3.SSS0.Px3.p1.1;#abstract1.1;#S4.T1.4;#S4.SS2.p2.1;#S4.SS3.SSS0.Px1.p2.1;#S4.SS5.SSS0.Px1.p1.1;#A5.SS3.p2.1;#S4.SS1.SSS0.Px1.p1.1;#S5.SSx3.p1.1