苦涩的教训可能正走向机器人：9 个前沿模型在真机上操控机械臂的系统评测

内容摘要

通用多模态大模型（能同时处理文字与图像的大模型）已能直接操控真机机械臂，但此前真机上的跨模型比较很少，真机的下垂、标定漂移、定位散布等误差也难在仿真中复现。作者在 RoboDojo 基准的六个操作任务上，用同一台双臂真机与同一套接口评测九个前沿模型、十五个（模型，配置）组合，并称这是首次在真机上对广泛前沿模型的系统比较。

评测由 Inspect Robots 框架闭环执行：模型每轮选一个动作，执行后把新观测追加回上下文，直到模型主动结束、耗尽 40 步动作预算或触发硬件故障。可用动作只有 move_to（每条臂提交含位置、姿态、夹爪开度的 7 元末端位姿，框架用逆运动学转成关节角）、done、give_up。任务拆成递进子任务按 0%–100% 打分，由 GPT-6 Astra（H）按三路相机录像评分。

当前模型已能完成多种真实操作，但精度与效率不足以在可接受的动作预算内可靠完成：最强模型平均得分 45%–48%，是持续的部分进展而非端到端成功；「扶正瓶子」在九个组合共 180 次试验中只有六次立起一个瓶子。弱模型主要输在抓取，GPT-5.6 Sol、GPT-6 Sol 合拢夹爪却没抓稳的比例达 64%、59%，Astra、Opus 5.5、Gemini 3.8 Flash 为 32%–39%。

进步很快：2026 年 7 月至 10 月性能翻倍时间 53.9 天；最好的子任务完成速率从每小时 12.4 个升到 54.4 个（57 天内 4.4 倍），最低每子任务 API 成本从 2.36 美元降到 0.38 美元（约 55 天内 6.2 倍）。但没有模型全面占优：GPT-6 Astra（H+UF）平均 1.1 分钟完成一个子任务却要 4.51 美元，Gemini 3.8 Flash（H）只要 0.38 美元却要 4.18 分钟；得分最高的 Gemini 4 Argon（H+PR）48.4%、0.97 美元/子任务，却只有 7.1 个子任务/小时，高推理延迟还可能让手臂过热而中断试验。作者由此提出「苦涩的教训」（Bitter Lesson）可能正走向机器人领域，这是趋势判断而非已验证结论。

点评

对做机器人本体软件和具身策略接入的工程师，这篇评测把「大模型能操作真机」换成了可对照的工程量纲：同一台真机、同一套动作接口下的得分、每个子任务的耗时与 API 花费。40 步动作预算下最强模型也只有 45%–48% 的部分完成度，接入流程不能按「一条指令完成搬运」来设计；速度与成本明显反向取舍，选型要按自身节拍和预算匹配，而不是只挑分数最高的模型。弱模型把动作预算浪费在空夹和反复找位置上（Opus 5 平均要 6.7 个动作才把夹爪移到正确位置），提示动作接口设计、失败恢复与抓取自检逻辑可能比换模型更值得先做——这是本篇报道的工程推论，不是论文结论。文中「苦涩的教训」是作者的趋势外推，不是已验证的落地效果。

证据仅来自这一篇 arXiv 预印本全文（v2，2026 年 11 月 1 日抓取的页面），内容可滚动更新，后续版本可能改写结论，本次未包含独立第三方复现。评测只覆盖一台双臂真机上的六个任务与 40 步动作预算，结论不外推到其他本体或长时任务。53.9 天的翻倍时间只基于 2026 年 7 月至 10 月的纪录组合，95% 自助法置信区间为 36.1–59.5 天，且 45% 的重采样中 Gemini 4 Argon（H+PR）是否为纪录刷新者并不确定；速率与成本的拟合趋势分别只有四个和三个纪录组合，作者自称探索性。得分取「过程中曾达到的子任务」且由 GPT-6 Astra（H）判分，可能高估最终状态。「扶正瓶子」的结果还受该任务设置限制（如末端俯仰限于 ±0.6 弧度、瓶子离基座较远），不能当作模型能力上限。

原文与定位

• 原文链接 #S2.p4.1；#S3.p4.1；#S3.p5.1；#S3.p7.1；#S1.p4.1；#S4.p4.1；#S4.p2.1；#S5.p2.1；#S5.p4.1；#S5.p5.1；#S4.p7.1；#S4.p10.1