内容摘要
静态示范难以覆盖策略出错后进入的分布外状态,常规监督微调也不区分样本对任务进展的贡献。作者提出HIL-UMI,将人在回路后训练的数据采集移至手持通用操作接口(UMI):策略读取与人相同的观测流,但不在机器人上执行预测动作。
方法采用两条独立反馈回路:Energy Score比较人类动作片段与策略预测分布,触发针对性采集;另一回路收集优势预测偏低的片段,用于更新任务进展优势估计器,再以新旧数据混合开展优势条件行为克隆。
作者在单台Franka机械臂的四项长时程或精细操作任务上评测,每个策略检查点、每项任务测试10次,以给予子任务部分分数的任务进展分数(TPS)计量。论文报告,同等每轮数据预算下,HIL-UMI较SFT持续改善;在Clean Up Table同阶段预算比较中,最终TPS比HG-DAgger约高5分,每帧采集耗时分别为73.40和412.99毫秒。不过,针对性筛选使其每记录帧耗时高于常规SFT,不能将相对HG-DAgger的效率优势推广到所有采集方式。
点评
其价值在于将策略感知的数据筛选与机器人执行解耦,为跨操作者、跨地点扩展采集提供路径,而非已经验证分布式训练。
证据来自作者论文,结果限于所述单臂、四任务及TPS协议,不能等同于完整任务成功率或通用能力;跨地点并行采集仍列为未来工作。
版本与核查范围
版本 2609.20659v2 · 原文定位与程序检查、独立上下文模型复核;不代表独立研究复现。。依据已核查材料整理;未运行模型或机器人。
原文与定位
- 原文链接 #abstract1.1;#S1.p5.1;#abstract1.1;#S1.p6.1;#S4.SS2.SSS1.p1.1;#abstract1.1;#S4.SS2.SSS2.p1.1;#S4.SS2.SSS4.p1.1;#S4.SS5.p1.1;#S4.SS5.p1.1;#S4.SS4.p2.1;#S1.I1.i1.p1.1
