跳至正文
原文导读 · 原标题中译

HeLM:面向非马尔可夫操作的分层显式语言记忆

HeLM: Hierarchical Explicit Language Memory for Non-Markovian Manipulation

材料发布 2026-11-02 · arXiv · 作者论文 · 核查 2026-11-06
图1:非马尔可夫(non-Markovian)任务示例。受架构限制,原始(vanilla)VLA 在按下红色按钮后丢失了进度,又重复按了一次。HeLM 通过将进度存入语言记忆(language memory)成功执行该任务,从而使 HLP 能够正确地引导 LLP。 图片出处
图3:评测循环中 HLP 的 Update/Detect(更新/检测)模式。示例展示了回合内(intra-episode)与跨回合(inter-episode)场景中 Detect 与 Update 模式之间的切换及相应的记忆更新。每个动作 a_t 均基于 M_{t-1} 与当前指令生成。 图片出处

内容摘要

擦玻璃时机器人看不出这一块是否已擦过,会反复擦同一处。难点不在单步动作,而在于当前画面不足以决定该做什么:现有 VLA(视觉-语言-动作模型,直接把观测与指令映射为动作的策略)大多默认马尔可夫假设,只看当前观测,在需要工作记忆的任务上会系统性失败。

作者提出 HeLM(Hierarchical Explicit Language Memory,分层显式语言记忆),借鉴人的"内心独白",把任务相关历史直接写成自然语言。高层策略 HLP(Qwen2.5-VL-7B)维护记忆并下发动作命令,低层策略 LLP(π0,一种视觉-语言-动作模型)执行动作;记忆分为单条指令内的工作记忆和跨指令的情景摘要,且更新由事件触发——只有检测到任务相关事件或指令变化时才改写。

在 10 个非马尔可夫真机任务、56 个变体(含五个跨指令任务)上,指令内子任务成功率 85.7%,关键帧-HLP 为 72.9%,PCMB-π0 为 39.5%,无记忆的 Naïve-π0 仅 16.7%;换成"全部子任务完成、顺序正确、正常停止"的严格口径,HeLM 保持 81.3%,关键帧-HLP 跌到 29.3%,两个 π0 基线为 0%。跨指令任务上 HeLM 平均 89.2%,关键帧-HLP 仅 16.6%;两个 π0 基线因在回合边界重置内部状态被排除,作者称专用跨指令基线仍待提出。

任务加长到七个子任务时,"按 N 次"仍为 100%,"按顺序按"最低 77%;短序列下自回归生成文本反而更慢,但长序列下比关键帧基线快 2.5 倍,8 个事件时峰值显存不到 6 GB,基线为 28 GB。仿真基准 LIBERO-Mem 上平均 58.5%,对比 π0.5 基线的 36.5%。以上均为作者论文自报结果,尚无独立复现。

点评

对做机器人本体软件的工程师,最直接的变化是:机器人"做过什么"变成一段可读、可改写的文本状态,而不是隐特征或图像帧序列。事件触发的更新机制允许按任务定制事件词表,出问题时能直接看出记忆写错了什么;语言记忆体积小,跨指令只需保留一段结构化摘要,长序列下显存与延迟的扩展性明显好于堆图像帧。工程代价是 HLP 需用 TaskSpec 生成的约 130k 帧做 QLoRA 微调、每 10 步调用一次,落地时要为自己的任务重做事件定义与数据合成。

数据均为作者论文自报,无独立复现;证据为 arXiv v1 全文与元数据,版本固定,未覆盖后续修订。事件依赖 TaskSpec 预定义,不支持开放式记忆发现;只覆盖离散事件,不含连续状态(如液面、精确几何历史);HLP 按动作块同步调用,可能漏掉块内瞬时事件;工作记忆与情景记忆分离的收益未做对照。长序列数据止于七个子任务,且只在单一桌面机械臂平台上验证。

版本与核查范围

版本 2611.02660v1 · 原文定位与程序检查、独立上下文模型复核;不代表独立研究复现。。依据已核查材料整理;未运行模型或机器人。

原文与定位

  • 原文链接 #abstract1.1;#S5.SS2.p1.1;#A5.SS1.p2.1;#S5.T1.4;#S5.SS2.p2.1;#S1.p5.1;#S3.SS4.p1.1;#S5.SS6.p2.1;#S5.SS6.p3.1;#S5.SS4.p3.1;#S5.SS1.p2.1;#S6.p1.1