内容摘要
前沿模型的推理与API延迟限制了机器人控制的响应速度。作者提出两条互补路径:让前沿模型生成示范、补充人工数据训练快速本地策略;部署时由前沿模型给出高层指令,本地策略负责动作执行。
第一条路径在上下文中加入纠错示范片段,展示如何依据视觉反馈修正物理误差。四项操作任务中,每项使用20条人工与20条生成示范训练的策略,与使用40条人工示范的策略均取得41/80次成功。部署时,前沿模型与本地策略组成的执行框架取得52/80次成功,本地策略单独执行为41/80次;这一结果不代表两种训练数据统计等效。
第二条路径对相同轨迹提供基元、原子子任务、复合任务三级标注,并加入多角度语言描述。在Fable 5指导下,联合监督使RoboCasa 365成功率从0.381升至0.485,BEHAVIOR-1K平均子目标进度从0.084升至0.143;两者不是同一种指标。比较采用相同预训练起点与训练步数,但评测任务已包含在训练任务集中,不能据此推断未见任务泛化。
点评
作者实验支持将示范生成与语言接口训练作为互补环节:不仅要让本地策略执行得快,还要让它理解前沿模型的指令。
主要语言监督比较仅用两组训练/评测种子。低延迟本地控制不等于整个系统实时;物理部署耗时仅统计成功试验,并排除硬件修复时间。
版本与核查范围
版本 2610.03615v1 · 原文定位与程序检查、独立上下文模型复核;不代表独立研究复现。。依据已核查材料整理;未运行模型或机器人。
原文与定位
- 原文链接 #S1.p1.1;#S1.p2.1;#S3.SS1.p3.1;#S3.SS3.p1.1;#S3.SS3.p4.1;#A1.p2.1;#S1.p3.1;#S4.SS4.p1.1;figcaption[49];#S4.SS3.p1.1;#A5.p1.1;#S6.p1.1
