内容摘要
机器人操作过去主要靠示教数据训练“专才”策略:视觉-语言-动作模型(VLA,把图像与语言直接映射成动作)和世界-动作模型(WAM,先预测世界变化再输出动作)。这篇 arXiv 预印本提出另一条路——把通用大模型留在控制回路里,由它直接指挥机械臂,并在任务推进中修改动作,作者称之为“智能体式操作策略”(AMP)。
对做机器人本体软件的工程师来说,这次的具体变化是一个“薄外壳”参考实现 AMP1:同一套代码不改就能跑单臂、双臂和移动操作;外壳不提供抓取、推送、放置这类动作原语,动作由模型每个回合自己写出来;再配一个跨回合的持久记忆库,模型权重保持不变,只累积观察、策略和代码。
结果均为作者自评、尚无独立复现:RoboLab-120 零样本成功率 85.6%,而对照的 VLA、WAM 是 49.2% 和 42.9%;真机十二个任务、三台机器人共 108 次试验成功 104 次,作者称失败率比 VLA、WAM 基线低 20 倍和 15 倍;CaP-Gym 的 LIBERO-PRO 子集为 95.2%,同为零样本智能体的 CaP-Agent0 为 18.2%。带记忆版在 RoboDojo 的 42 个双臂任务上,未见布局成功率从 26.4% 升到 84.1%,顺序单遍连续学习升到 57.6%。外壳实现细节会直接改变结果:启用错误恢复(RfE)时真机成功 104/108,去掉该接口后为 94/108;辅助性的抓取/放置例程则对模型强弱作用相反,强模型加辅助外壳最多掉 7.5 分,弱模型最多涨 17.6 分。
85.6% 不宜直接当作策略能力上限:作者逐条复盘失败回合后称,约三分之二来自基准本身(121/173 与 135/206),主要是物体宽度或质量分布与标准平行夹爪不兼容,以及校验器误拒已满足指令的终态。作者自陈的限制是策略慢、轨迹执行中无法改写、评测以准静态场景为主。
点评
给机器人本体软件工程师,有三件事可以直接用。
第一,动作原语可以不给。AMP1 的外壳只提供感知与运动接口以及错误恢复,抓取、推送、放置由模型在每个回合现场写成代码;同一套外壳因此能覆盖单臂、双臂和移动操作,也不需要示教数据或任务特定训练。这把“能力不够就往技能库里加动作”的思路,换成“外壳保持稳定、强度交给模型”。
第二,外壳接口的容错约定直接计入结果。启用 RfE(错误恢复)时真机是 104/108,去掉该接口后是 94/108;而辅助抓取/放置例程对不同模型的作用方向相反——最强的四个模型加了辅助外壳反而更差(最多掉 7.5 分),最弱的六个模型反而更好(最多涨 17.6 分),中间的模型没有收益。做本体软件的人需要自己划定接口边界、错误恢复与辅助例程的取舍,而不是默认“多给点能力总没错”。
第三,记忆库是低成本的能力增量。模型权重不动、不做梯度更新,只记录观察、策略和代码,RoboDojo 双臂任务上未见布局的成功率就从 26.4% 提到 84.1%,单遍顺序连续学习到 57.6%,并且能迁移到还没尝试过的任务而不抹掉已有收益。
需要保留的判断:这些数字目前只有作者自评的预印本支撑,没有独立复现;对照的 VLA、WAM 成绩取自公开榜单条目,不是作者在同一环境下统一复测,而且当时榜单上最强的条目本身也是智能体(SenseNova-RoboRSI,57.1%),最强学习策略 Lakeside 为 51.0%。另外作者自己指出,LIBERO-Goal 上失败的回合几乎都是智能体自认为已经成功,人工复核认为它对指令的理解与人类一致、却与基准校验器不一致——基准分数与实际可用性之间仍有一段距离。
证据等级:arXiv 预印本、作者自评,尚无独立复现。对照项取自公开榜单条目,不是统一环境下的复测。
对比口径:85.6% 与 49.2%、42.9% 是作者自评与榜单条目混列的结果,不是同一批重测;LIBERO-PRO 上更高的 96.5%(HarnessPAI)并非零样本,它在评测集内部的种子上演化程序,不能与零样本结果直接并列。
数字解读:作者称约三分之二的失败来自基准自身(121/173 与 135/206),原因是物体宽度或质量分布与标准平行夹爪不兼容,以及校验器误拒已满足指令的终态,因此 85.6% 不宜直接当作策略能力上限;RoboDojo 的 26.4%→84.1% 是逐任务练习后的未见布局结果,与零样本条件不同,不能混为一谈。
方法边界:策略慢,机器人大部分时间在等模型推理;轨迹执行过程中模型无法重新决策;评测以准静态场景为主,移动目标或滑落物体要等模型下一轮才能响应。
版本与核查范围
版本 2611.09892v3 · 原文定位与程序检查、独立上下文模型复核;不代表独立研究复现。。依据已核查材料整理;未运行模型或机器人。
原文与定位
- 原文链接 #abstract1.1;#abstract1.1;#abstract1.1;#S2.SS1.SSS1.p2.1;#S2.SS1.SSS1.p6.1;#S2.SS1.SSS1.p6.1;#S1.p6.1;#S2.SS2.SSS0.Px10.p2.1;#S5.SS1.p4.1;#S2.SS4.SSS2.Px3.p1.1;#S3.SS2.p1.1;#S5.SS6.p2.1
