内容摘要
机器人何时请求专家接管,不仅关系到能否发现失败,也决定示范数据能否覆盖待补足的行为。论文指出,过早接管可能收集冗余动作,过晚接管则可能错过需要学习的部分;TimelyDAgger因此将接管时机视为数据采集决策。
方法以Bridge-PCA监测视觉语言模型传向动作生成模块的内部特征:利用成功示范拟合PCA子空间,重建误差超阈值即请求接管。反馈引导阈值自适应(FTA)根据已完成干预中的专家行为调整后续回合阈值,再将成功接管片段与原始示范混合微调。作者另提出TASR,无需重训策略即可评估监督质量。
在保留专家动作预算、数据混合比例和训练设置匹配的条件下,作者报告:15个任务—骨干组合中,失败检测AUPRC、TASR和训练后成功率各自在13个设置中取得所报告最高值。OpenDrawer抓取分布外实验中,即时接管与第80步接管对应的训练后成功率分别为42%和78%。
这些结果来自作者评测。仿真由任务专用预言机替代人类专家,并假定其能从所评估接管状态完成任务;预算匹配针对保留用于训练的专家动作。
点评
将接管时机作为监督数据采集问题,而不只追求失败检测准确性,为相同专家动作预算下改善策略学习提供了方法与评测思路。
仿真依赖预言机专家假设,TASR依赖成功分布外专家轨迹及人工标注的目标区间。结论限于作者报告的任务与协议,不代表独立复现或通用能力验证。
版本与核查范围
版本 2609.33157v2 · 原文定位与程序检查、独立上下文模型复核;不代表独立研究复现。。依据已核查材料整理;未运行模型或机器人。
原文与定位
- 原文链接 #S1.p3.1;#S1.p4.1;#S1.I1.i2.p1.1;#S1.p5.1;#S5.SS2.SSS1.p1.1;#S5.SS1.SSS4.p1.1;#S5.SS2.SSS2.p1.1;#S5.SS1.SSS4.p1.1;#S5.SS1.SSS2.p4.1;#S5.p1.1
