连接前沿推理与机器人执行：从自主示范生成到密集语言监督

图2（原 Figure 2）：取物（pickup）任务的纠正片段（corrective segments）。箭头示意调整方向；它们不是记录下来的动作，也不是模型输入（原文：Arrows illustrate adjustment directions; they are not recorded actions or model inputs）。图片出处

图5（原 Figure 5）：四种控制配置下的平均耗时与任务成功率：仅 GPT-6 Astra；Astra 配合纠正演示片段（corrective demonstration segments，CS）；仅本地策略（local policy）；以及与 Astra 配合的 harness（运行框架）。每个面板对应一个操作任务，每种配置、每个任务各进行 n = 20 次试验（原文：n = 20 trials per configuration and task）。耗时仅对成功试验取平均，且包含推理、规划、工具调用与 API 延迟，不包含硬件故障修复所占用的时段（原文：excluding hardware-fix intervals）。成功率则使用全部 20 次试验计算。图片出处

内容摘要

前沿模型的推理与API延迟限制了机器人控制的响应速度。作者提出两条互补路径：让前沿模型生成示范、补充人工数据训练快速本地策略；部署时由前沿模型给出高层指令，本地策略负责动作执行。

第一条路径在上下文中加入纠错示范片段，展示如何依据视觉反馈修正物理误差。四项操作任务中，每项使用20条人工与20条生成示范训练的策略，与使用40条人工示范的策略均取得41/80次成功。部署时，前沿模型与本地策略组成的执行框架取得52/80次成功，本地策略单独执行为41/80次；这一结果不代表两种训练数据统计等效。

第二条路径对相同轨迹提供基元、原子子任务、复合任务三级标注，并加入多角度语言描述。在Fable 5指导下，联合监督使RoboCasa 365成功率从0.381升至0.485，BEHAVIOR-1K平均子目标进度从0.084升至0.143；两者不是同一种指标。比较采用相同预训练起点与训练步数，但评测任务已包含在训练任务集中，不能据此推断未见任务泛化。

点评

作者实验支持将示范生成与语言接口训练作为互补环节：不仅要让本地策略执行得快，还要让它理解前沿模型的指令。

主要语言监督比较仅用两组训练/评测种子。低延迟本地控制不等于整个系统实时；物理部署耗时仅统计成功试验，并排除硬件修复时间。

版本与核查范围

版本 2610.03615v1 · 原文定位与程序检查、独立上下文模型复核；不代表独立研究复现。。依据已核查材料整理；未运行模型或机器人。

原文与定位

原文链接 #S1.p1.1；#S1.p2.1；#S3.SS1.p3.1；#S3.SS3.p1.1；#S3.SS3.p4.1；#A1.p2.1；#S1.p3.1；#S4.SS4.p1.1；figcaption[49]；#S4.SS3.p1.1；#A5.p1.1；#S6.p1.1

内容摘要

点评

原文与定位

关联知识节点

收录报告