跳至正文
原文导读 · 原标题中译

TimelyDAgger:用于改进VLA策略的时机感知专家查询

TimelyDAgger: Timing-Aware Expert Querying for VLA Policy Improvement

材料发布 2026-10-02 · arXiv · 作者论文 · 核查 2026-10-18
图2:TimelyDAgger概览。(a) 离线构建:Bridge-PCA为ID(插值演示)桥接特征拟合主子空间,并校准初始接管阈值。(b) 在线采集:Bridge-PCA监测策略执行并请求专家接管,FTA则利用干预反馈调整阈值,以在后续回合中取得更好的接管时机。(c) 策略更新:将采集到的专家后缀与原始ID演示合并,用于微调策略。 图片出处

内容摘要

机器人何时请求专家接管,不仅关系到能否发现失败,也决定示范数据能否覆盖待补足的行为。论文指出,过早接管可能收集冗余动作,过晚接管则可能错过需要学习的部分;TimelyDAgger因此将接管时机视为数据采集决策。

方法以Bridge-PCA监测视觉语言模型传向动作生成模块的内部特征:利用成功示范拟合PCA子空间,重建误差超阈值即请求接管。反馈引导阈值自适应(FTA)根据已完成干预中的专家行为调整后续回合阈值,再将成功接管片段与原始示范混合微调。作者另提出TASR,无需重训策略即可评估监督质量。

在保留专家动作预算、数据混合比例和训练设置匹配的条件下,作者报告:15个任务—骨干组合中,失败检测AUPRC、TASR和训练后成功率各自在13个设置中取得所报告最高值。OpenDrawer抓取分布外实验中,即时接管与第80步接管对应的训练后成功率分别为42%和78%。

这些结果来自作者评测。仿真由任务专用预言机替代人类专家,并假定其能从所评估接管状态完成任务;预算匹配针对保留用于训练的专家动作。

点评

将接管时机作为监督数据采集问题,而不只追求失败检测准确性,为相同专家动作预算下改善策略学习提供了方法与评测思路。

仿真依赖预言机专家假设,TASR依赖成功分布外专家轨迹及人工标注的目标区间。结论限于作者报告的任务与协议,不代表独立复现或通用能力验证。

版本与核查范围

版本 2609.33157v2 · 原文定位与程序检查、独立上下文模型复核;不代表独立研究复现。。依据已核查材料整理;未运行模型或机器人。

原文与定位

  • 原文链接 #S1.p3.1;#S1.p4.1;#S1.I1.i2.p1.1;#S1.p5.1;#S5.SS2.SSS1.p1.1;#S5.SS1.SSS4.p1.1;#S5.SS2.SSS2.p1.1;#S5.SS1.SSS4.p1.1;#S5.SS1.SSS2.p4.1;#S5.p1.1