内容摘要
机器人学习开抽屉放方块、插管等任务时,成功的人类示范也可能包含停顿和绕路;直接模仿会一并学到这些低效动作。作者提出优势加权潜空间引导(AWLS),在已有策略上做离线后训练,让策略更偏向示范中的较好动作,不更新原有动作解码器。
方法只训练一个根据当前观测修正潜在噪声输入的模块。“优势”表示示范动作相对当前状态基准的估计价值,经尺度归一化后,仅作为动作重建训练的权重,不让价值评估器的梯度直接引导策略。作者还通过离线噪声扰动检查,选择仍能响应噪声变化的预训练检查点。部署时移除价值评估器,保留一次解码生成动作片段。
作者在五项真机任务中,每项使用70条遥操作示范训练,每种策略各测试20次;成功要求无人干预完成全部阶段。采用MeanFlow解码器的AWLS合计成功65/100,冻结基座为45/100。按任务分层并校正多重比较后,只有相对冻结基座的总体提升显著,相对其他后训练基线的优势尚属提示性结果;后训练阶段未采集真机执行数据。
点评
为已有单步操作策略提供一种保留解码器的离线适配路径;部署端无需保留价值评估器,也不引入迭代去噪或候选动作筛选。
证据来自作者论文实验,不是独立复现。方法依赖价值评估器有效排序,只能偏向数据中已有且冻结解码器可达的行为,不用于创造新技能;重建训练也可能降低动作多样性。
版本与核查范围
版本 2610.27736v1 · 原文定位与程序检查、独立上下文模型复核;不代表独立研究复现。。依据已核查材料整理;未运行模型或机器人。
原文与定位
- 原文链接 figcaption[78];#S1.p1.1;#S1.p3.1;#S3.SS2.p1.1;#abstract1.1;#S3.SS4.p1.1;#S3.SS4.SSS0.Px1.p1.1;#S4.SS3.SSS0.Px2.p1.1;#S4.SS3.SSS0.Px3.p1.1;#S4.SS3.SSS0.Px4.p1.1;#S1.p4.1;#S6.p1.1
