内容摘要
作者认为题库型基准已接近饱和,于是改用"模型造出来的东西"作为评测对象。具体任务很直接:每个模型用同一份固定提示词,交出一台完整机器人——硬件写成 MJCF XML(MuJoCo 的机器人结构描述格式),控制器写成 Python——再到 MuJoCo 仿真里推台互搏。胜负由产物的物理接触判定,而非人工偏好或大模型打分;模型必须同时处理几何、材料、质量分布、执行器与反馈控制。
三条生成路线分别是:采样套件(SH)无反馈产出 10 个产物;验证器引导的精炼套件(VGH)把模型当优化器迭代 10 轮,每轮读校验反馈与比赛回放再改设计;设计实验室套件(DLH)给它含模拟器与校验器源码、可跑 Shell 和 Python 的沙箱工作区,预算 10 次 API 调用。
结果有反直觉之处:VGH 在 21 个模型中的 15 个上拿到最高 Elo,GPT-6 Astra(1539)、Claude Fable 5.1(1310)、Gemini 3.8 Flash(1223)居前三;GPT-6 Astra 用完全不给反馈的 SH 也拿到 1352 Elo;自主权最大的 DLH 在同样预算下对多数模型落后于 VGH,前七名一件没有,三个模型没有冠军。产物也像工程代码:精炼运行中 63% 的控制器是多模式状态机,代码 71 到 1700 行不等。作者还发布了模拟器、套件和锦标赛基础设施,接受社区提交。
点评
对做机器人本体软件的人,这是一条"模型造机器人 → 仿真对战 → 排名"的完整回路:模型交出的不是一段说明,而是一份能编译的 MJCF 结构和一段能运行的 Python 控制器,胜负由两台机器人的物理接触算出来,所以改外形、配重或策略会直接改写战绩,这与本体软件里做形态—控制取舍时的反馈回路是对应的,只不过这里的裁判是仿真物理。DLH 那种把模拟器源码、校验器和 shell 一起丢进沙箱让模型自己跑的做法,也对应大家熟悉的"跑仿真回归、让代理改控制器"的用法。评测与选型的人则可以把它当成问答榜单之外的一类观察点,但要注意分数只在 MuJoCo 这一套规则和对手集合里成立。产物与成绩全部出自论文作者自建的仿真竞技场,本文材料中没有第三方复现,应先按作者自报结果看待。
全部结论来自 MuJoCo 仿真,作者自己写明"在这里造出机器人并不意味着它在真实世界能用",因此榜单只应读作仿真中的竞争性物理设计与控制能力,不能当作真机能力;作者预期只有当仿真更接近现实时,同一套场地与套件才可能原样搬到实物对战。Elo 是用 Bradley-Terry 模型换算到 Elo 尺度的相对分,只在这一套规则、材质与对手集合下有意义;榜单持续接受社区提交,论文中的数值只是发表时的快照。模型名称按论文表格原样引用;文中数字均为作者在同一套仿真与提示词条件下自报,未经第三方复现。
版本与核查范围
版本 2610.06511v2 · 原文定位与程序检查、独立上下文模型复核;不代表独立研究复现。。依据已核查材料整理;未运行模型或机器人。
原文与定位
- 原文链接 #S1.p2.1;#S1.p4.1;#S2.SS1.p1.1;#S2.SS3.p2.1;#S2.SS3.p3.1;#S2.SS3.p4.1;#S3.SS1.p1.1;#S3.SS1.p3.1;#S3.SS1.p4.1;#S3.SS2.p3.1;#S1.p10.1;#S3.SS5.p1.1
