跳至正文
原文导读 · 原标题中译

HIL-UMI:将视觉—语言—动作模型的人在回路后训练引入通用操作接口

HIL-UMI: Bringing Human-in-the-Loop Post-Training of Vision-Language-Action Models to Universal Manipulation Interface

材料发布 2026-10-08 · arXiv · 作者论文 · 核查 2026-10-18
图2:HIL-UMI(人在回路的 UMI)概览。在每一轮中,我们首先在线运行优势(advantage)分布外(OOD)检测器以收集优势数据;随后运行当前策略的分布外检测器,并从片段(segment)中收集策略数据;接着更新优势估计器,再用它构建带优势标签的训练数据集,并通过 ACBC(优势条件行为克隆)更新策略。 图片出处

内容摘要

静态示范难以覆盖策略出错后进入的分布外状态,常规监督微调也不区分样本对任务进展的贡献。作者提出HIL-UMI,将人在回路后训练的数据采集移至手持通用操作接口(UMI):策略读取与人相同的观测流,但不在机器人上执行预测动作。

方法采用两条独立反馈回路:Energy Score比较人类动作片段与策略预测分布,触发针对性采集;另一回路收集优势预测偏低的片段,用于更新任务进展优势估计器,再以新旧数据混合开展优势条件行为克隆。

作者在单台Franka机械臂的四项长时程或精细操作任务上评测,每个策略检查点、每项任务测试10次,以给予子任务部分分数的任务进展分数(TPS)计量。论文报告,同等每轮数据预算下,HIL-UMI较SFT持续改善;在Clean Up Table同阶段预算比较中,最终TPS比HG-DAgger约高5分,每帧采集耗时分别为73.40和412.99毫秒。不过,针对性筛选使其每记录帧耗时高于常规SFT,不能将相对HG-DAgger的效率优势推广到所有采集方式。

点评

其价值在于将策略感知的数据筛选与机器人执行解耦,为跨操作者、跨地点扩展采集提供路径,而非已经验证分布式训练。

证据来自作者论文,结果限于所述单臂、四任务及TPS协议,不能等同于完整任务成功率或通用能力;跨地点并行采集仍列为未来工作。

版本与核查范围

版本 2609.20659v2 · 原文定位与程序检查、独立上下文模型复核;不代表独立研究复现。。依据已核查材料整理;未运行模型或机器人。

原文与定位

  • 原文链接 #abstract1.1;#S1.p5.1;#abstract1.1;#S1.p6.1;#S4.SS2.SSS1.p1.1;#abstract1.1;#S4.SS2.SSS2.p1.1;#S4.SS2.SSS4.p1.1;#S4.SS5.p1.1;#S4.SS5.p1.1;#S4.SS4.p2.1;#S1.I1.i1.p1.1