内容摘要
作者论文提出 ProTracer,将机器人操作失败诊断从判断是否失败、失败类型及原因,扩展到回溯定位失败起点:利用完整执行记录,找出最终失败且不再返回有效任务完成轨迹的最早偏离时刻。框架无需额外训练,以夹爪和末端执行器动态检测动作边界、选择关键帧,再将机器人状态转为结构化自然语言,与视觉证据共同输入视觉语言模型。作者同时引入含同步视觉、本体感觉及起点标注的 FailTime,覆盖短流程与新采集的长流程真机执行。
主实验采用 Gemini-3.1-pro;在 FailTime-Short 上,零样本 ProTracer 的起点平均绝对误差为 0.59 秒,0.5 秒容差准确率为 71.18%;同骨干密集帧提示加原始传感器输入分别为 0.90 秒、48.03%。加入可选反思经验后分别为 0.47 秒、77.34%。长流程零样本误差为 4.06 秒,短流程亚秒级结果不能直接外推。以上为作者实验报告;仅明确 MAE 在正确检出的失败执行上计算,材料未明确容差准确率的统计分母。
点评
将本体感觉作为时间线索、视觉作为语义证据,为失败轨迹的事后分析提供方法;作者指出,起点定位可支持更精细的时间归因与成功轨迹前缀回收。
这是使用完整执行记录的离线诊断,不等同于在线预警。结果属于作者实验而非独立复现;起点平均绝对误差(MAE)仅在正确检出的失败执行上计算,所给材料未明确容差准确率的统计分母。
版本与核查范围
版本 2609.21369v2 · 原文定位与程序检查、独立上下文模型复核;不代表独立研究复现。。依据已核查材料整理;未运行模型或机器人。
原文与定位
- 原文链接 #S1.p2.1;#S3.SS1.p2.1;#S3.SS2.p1.1;#S1.p6.1;#S5.SS1.p1.1;#S5.SS2.p1.1;#S5.SS2.p1.1;#S3.SS2.SSS3.p5.1;#S3.T1.8.1;#S5.SS1.p3.1;#S5.SS3.p1.1;#S1.p1.1
