内容摘要
作者提出 Value as Memory（VaM），通过价值缓存与真实世界在线强化学习，缓解部分可观测条件下的动作歧义，以及离线后训练对部署经验反馈滞后的问题。价值缓存将近期价值预测作为任务进度记忆，与视觉和本体感知历史共同输入动作模型，帮助区分外观相似但所需动作不同的状态；价值预测与动作生成异步运行。
训练依次经历离线示范初始化、离线强化学习预热、有人类纠正的 Online DAgger，以及使用稀疏终局奖励、不再新增人工纠正的自主经验学习，并混合示范、历史离策略数据和当前策略轨迹更新模型。作者在纸箱组装、衣物折叠和磁性巴士组装三项长时程真机任务中报告：按最后三个在线检查点统计，VaM 相较无价值缓存消融版本的平均成功率绝对提升 29.4 个百分点；在匹配梯度步数和数据采集预算的离线、在线对照中，自主学习后平均成功率绝对提升 32.8 个百分点。
并发采集与训练使每梯度步实验耗时平均降低 57.8%。这些结果属于作者论文实验，适用范围限于所评估的任务与预算。
点评
将价值预测从训练监督扩展为策略输入，为任务进度记忆与部署经验闭环更新提供了一条经真机消融检验的后训练路径。
缓存效果依赖价值预测质量及离线预热；实验限于单机器人，未验证机群扩展。论文仅承诺代码开源，不能视为工程产物已开放。
版本与核查范围
版本 2610.22368v1 · 原文定位与程序检查、独立上下文模型复核；不代表独立研究复现。。依据已核查材料整理；未运行模型或机器人。
原文与定位
- 原文链接 #abstract1.1；#S1.p3.1；#S3.SS2.SSS1.p1.2；#S3.SS1.p1.1；#S3.SS3.SSS2.Px3.p1.1；#S3.SS3.SSS2.Px4.p1.1；#S1.p3.1；#S4.SS1.p1.1；#S4.SS2.p2.1；#S4.SS4.p1.1；figcaption[97]；#S4.SS4.p2.1