跳至正文
原文导读 · 原标题中译

RMBench:依赖记忆的机器人操作基准及其对策略设计的启示

RMBench: Memory-Dependent Robotic Manipulation Benchmark with Insights into Policy Design

材料发布 2026-10-16 · arXiv · 作者论文 · 核查 2026-10-18
图 1:RMBench 的九项记忆依赖任务及关键步骤。单次观测类包括观察后拾取、积木重排、放回积木、交换积木及交换 T 形块,需要保留一次关键观测;多项历史信息类包括电池试装、积木排序试探、覆盖积木及按键,涉及反复探索、试错或事件计数,需要长时程记忆保留与检索。 图片出处
图 2:Mem-0 流程。规划模块根据任务指令、初始观测及回合内关键记忆窗口生成子任务;执行模块融合当前观测、子任务、锚点与滑动记忆,通过流匹配策略生成动作。子任务结束分类器连接两者,完成后将关键帧加入记忆窗口,循环规划、执行直至任务结束。 图片出处

内容摘要

作者提出 RMBench,以任务记忆复杂度刻画最优策略至少需要保留多少历史观测,并在 RoboTwin 2.0 上构建九项双臂操作任务,覆盖单次历史观测与多项历史信息两类记忆需求。配套策略 Mem-0 采用规划与执行双模块:规划端保存已完成子任务及其视觉结果,执行端融合锚点记忆和滑动窗口,由子任务结束分类器连接。仿真评测涉及八种策略,每项任务使用 50 条专家示范训练、100 次轨迹测试。

消融显示,单次观测类任务移除锚点记忆后,平均成功率从 52.8% 降至 26.8%;多项历史信息类任务移除关键记忆窗口后,从 28.5% 降至 4.8%。但记忆并非越多越好:Cover Blocks 移除锚点记忆后,成功率由 68% 升至 92%。作者还用仿真器真值替代结束分类器,使多项历史信息类任务均值从 28.5% 升至 45.3%,将子任务切换时机识别为当前系统的主要瓶颈。

三项真机任务中,Mem-0 平均成功率为 22.5%;作者明确,这支持记忆机制向硬件迁移,尚不代表可部署的可靠性。

点评

这项作者研究的设计启示是:应检查记忆信息在策略层级间是否重复,并优先改善当前系统的子任务结束检测,而非一味增加记忆通路。

仿真比较中,Mem-0 与 MemER 使用额外子任务监督,与端到端基线的差距不能只归因于记忆架构;真机评测未纳入记忆型基线,且绝对成功率仍低。真值结束信号属于部署时不可用的特权信息,不能将该消融结果当作可部署性能。

版本与核查范围

版本 2603.01229v4 · 原文定位与程序检查、独立上下文模型复核;不代表独立研究复现。。依据已核查材料整理;未运行模型或机器人。

原文与定位

  • 原文链接 #S3.SS1.p1.1;#S1.p5.1;#S3.SS1.SSS0.Px4.p1.1;#S4.p1.1;#S4.SS1.p2.1;#S5.SS1.p1.1;#S5.SS1.p1.1;#S5.SS2.p2.1;#S5.SS2.p4.1;#S5.SS2.p3.1;#S5.SS2.p5.1;#S5.SS3.p2.1