跳至正文
原文导读 · 原标题中译

AWLS:面向单步生成式机器人操作策略的优势加权潜空间引导

AWLS: Advantage-Weighted Latent Steering for One-Step Generative Robotic Manipulation Policies

材料发布 2026-10-20 · arXiv · 作者论文 · 核查 2026-10-23
图 2:AWLS 概览。上方:单步解码器通过行为克隆预训练。下方:冻结解码器,以优势加权的重建训练调整潜在噪声;权重采用切断梯度并归一化的离线优势估计。 图片出处

内容摘要

机器人学习开抽屉放方块、插管等任务时,成功的人类示范也可能包含停顿和绕路;直接模仿会一并学到这些低效动作。作者提出优势加权潜空间引导(AWLS),在已有策略上做离线后训练,让策略更偏向示范中的较好动作,不更新原有动作解码器。

方法只训练一个根据当前观测修正潜在噪声输入的模块。“优势”表示示范动作相对当前状态基准的估计价值,经尺度归一化后,仅作为动作重建训练的权重,不让价值评估器的梯度直接引导策略。作者还通过离线噪声扰动检查,选择仍能响应噪声变化的预训练检查点。部署时移除价值评估器,保留一次解码生成动作片段。

作者在五项真机任务中,每项使用70条遥操作示范训练,每种策略各测试20次;成功要求无人干预完成全部阶段。采用MeanFlow解码器的AWLS合计成功65/100,冻结基座为45/100。按任务分层并校正多重比较后,只有相对冻结基座的总体提升显著,相对其他后训练基线的优势尚属提示性结果;后训练阶段未采集真机执行数据。

点评

为已有单步操作策略提供一种保留解码器的离线适配路径;部署端无需保留价值评估器,也不引入迭代去噪或候选动作筛选。

证据来自作者论文实验,不是独立复现。方法依赖价值评估器有效排序,只能偏向数据中已有且冻结解码器可达的行为,不用于创造新技能;重建训练也可能降低动作多样性。

版本与核查范围

版本 2610.27736v1 · 原文定位与程序检查、独立上下文模型复核;不代表独立研究复现。。依据已核查材料整理;未运行模型或机器人。

原文与定位

  • 原文链接 figcaption[78];#S1.p1.1;#S1.p3.1;#S3.SS2.p1.1;#abstract1.1;#S3.SS4.p1.1;#S3.SS4.SSS0.Px1.p1.1;#S4.SS3.SSS0.Px2.p1.1;#S4.SS3.SSS0.Px3.p1.1;#S4.SS3.SSS0.Px4.p1.1;#S1.p4.1;#S6.p1.1