内容摘要
擦玻璃时机器人看不出这一块是否已擦过,会反复擦同一处。难点不在单步动作,而在于当前画面不足以决定该做什么:现有 VLA(视觉-语言-动作模型,直接把观测与指令映射为动作的策略)大多默认马尔可夫假设,只看当前观测,在需要工作记忆的任务上会系统性失败。
作者提出 HeLM(Hierarchical Explicit Language Memory,分层显式语言记忆),借鉴人的"内心独白",把任务相关历史直接写成自然语言。高层策略 HLP(Qwen2.5-VL-7B)维护记忆并下发动作命令,低层策略 LLP(π0,一种视觉-语言-动作模型)执行动作;记忆分为单条指令内的工作记忆和跨指令的情景摘要,且更新由事件触发——只有检测到任务相关事件或指令变化时才改写。
在 10 个非马尔可夫真机任务、56 个变体(含五个跨指令任务)上,指令内子任务成功率 85.7%,关键帧-HLP 为 72.9%,PCMB-π0 为 39.5%,无记忆的 Naïve-π0 仅 16.7%;换成"全部子任务完成、顺序正确、正常停止"的严格口径,HeLM 保持 81.3%,关键帧-HLP 跌到 29.3%,两个 π0 基线为 0%。跨指令任务上 HeLM 平均 89.2%,关键帧-HLP 仅 16.6%;两个 π0 基线因在回合边界重置内部状态被排除,作者称专用跨指令基线仍待提出。
任务加长到七个子任务时,"按 N 次"仍为 100%,"按顺序按"最低 77%;短序列下自回归生成文本反而更慢,但长序列下比关键帧基线快 2.5 倍,8 个事件时峰值显存不到 6 GB,基线为 28 GB。仿真基准 LIBERO-Mem 上平均 58.5%,对比 π0.5 基线的 36.5%。以上均为作者论文自报结果,尚无独立复现。
点评
对做机器人本体软件的工程师,最直接的变化是:机器人"做过什么"变成一段可读、可改写的文本状态,而不是隐特征或图像帧序列。事件触发的更新机制允许按任务定制事件词表,出问题时能直接看出记忆写错了什么;语言记忆体积小,跨指令只需保留一段结构化摘要,长序列下显存与延迟的扩展性明显好于堆图像帧。工程代价是 HLP 需用 TaskSpec 生成的约 130k 帧做 QLoRA 微调、每 10 步调用一次,落地时要为自己的任务重做事件定义与数据合成。
数据均为作者论文自报,无独立复现;证据为 arXiv v1 全文与元数据,版本固定,未覆盖后续修订。事件依赖 TaskSpec 预定义,不支持开放式记忆发现;只覆盖离散事件,不含连续状态(如液面、精确几何历史);HLP 按动作块同步调用,可能漏掉块内瞬时事件;工作记忆与情景记忆分离的收益未做对照。长序列数据止于七个子任务,且只在单一桌面机械臂平台上验证。
版本与核查范围
版本 2611.02660v1 · 原文定位与程序检查、独立上下文模型复核;不代表独立研究复现。。依据已核查材料整理;未运行模型或机器人。
原文与定位
- 原文链接 #abstract1.1;#S5.SS2.p1.1;#A5.SS1.p2.1;#S5.T1.4;#S5.SS2.p2.1;#S1.p5.1;#S3.SS4.p1.1;#S5.SS6.p2.1;#S5.SS6.p3.1;#S5.SS4.p3.1;#S5.SS1.p2.1;#S6.p1.1
