跳至正文
原文导读 · 原标题中译

Retriever:组合面向长时程操作的感知—推理—行动闭环

Retriever: Composing the Perception-Reasoning-Action Loop for Long-Horizon Manipulation

材料发布 2026-09-11 · arXiv · 作者论文 · 核查 2026-10-19
图2:系统流水线。Retriever-0 由相机、信念/记忆(belief/memory)、规划用 VLM(视觉语言模型)、执行监测、VLA 技能和机器人控制器这几类 Flow(流)组合而成。由触发事件驱动的信念更新与进度更新闭合回路;PlanChunks 与 ActionChunks 在缓慢的规划、2Hz 的技能推理与 200Hz 的控制之间搭桥。 图片出处
图4:为异步模块提供显式同步。下游 2Hz 的 VLA step() 消费一份同步快照,该快照由确定性策略(如 Latest())从多个异步流中组装而成(30Hz 腕部相机、触发事件、60Hz 机器人状态)。输出频率可以与输入时钟不同。 图片出处

内容摘要

长时程机器人闭环中,感知、信念更新、规划与控制的频率和延迟不同。作者指出,隐式时序与输入消费规则会使行为随调度变化,难以复现和调试。论文提出Retriever,结合异步决策模型、编程模型和运行时,将智能体表示为有状态因果流函数图;函数绑定显式时钟和输入快照规则后形成Flow,明确何时运行、读取哪些输入。

示例系统Retriever-0连接相机、信念与记忆、VLM规划、执行监控、VLA技能和控制器,以计划块和动作块衔接慢速规划、2Hz技能推理与200Hz控制;默认不打断当前技能。作者真机实验按任务进度评分:完整流水线的香料搜索为73%,是四个抽屉的平均值;袋中取物为100%,不能改称整任务成功率。

确定性重放要求固定确定性的代码与同步策略、初始状态、已提交外部输入、含滞后决策的时钟与提交轨迹,并满足严格因果反馈;随机调用须由日志中的种子或输出重放。保证针对事件路径,不承诺实时运行时GPU浮点结果逐位一致。上述任务结果不构成通用操作能力证明。

点评

通过显式规定模块运行时钟和输入快照,并记录重放所需事件信息,为异步机器人闭环的调试与离线重执行提供系统化路径。

证据身份为作者论文中的任务实验,而非独立研究复现或工程开放证明。所列百分比是特定任务的进度指标,不是整任务成功率,也不能外推通用操作能力;重放保证依赖固定输入、轨迹和随机性记录等条件,不等于实时运行时GPU数值逐位一致。

版本与核查范围

版本 2607.17213v2 · 原文定位与程序检查、独立上下文模型复核;不代表独立研究复现。。依据已核查材料整理;未运行模型或机器人。

原文与定位

  • 原文链接 #abstract1.1;#abstract1.1;#S3.SS2.p3.1;figcaption[8];#S5.I4.i2.p1.1;#S6.SS1.p4.1;figcaption[183];#Thmthm2.p1.1;#A4.SS7.p1.1;#A3.SS3.p4.1;#S4.SS3.p6.1