跳至正文
原文导读 · 原标题中译

ArtifactArena:用模型在物理世界里造出来的东西来评价模型

ArtifactArena: Evaluating Models by What They Build in the Physical World

材料发布 2026-10-23 · arXiv · 作者论文 · 核查 2026-11-01
图5(原 Figure 5):最优产物的可视化。我们渲染了最终锦标赛中来自三种 harness(评测框架)的八个机器人,每种 harness 各配一种不同的获胜策略。上述产物的 ELO(等级分)可在 Artifact Leaderboard(产物排行榜)处获取(原文:The ELOs of the above artifacts are available here: Artifact Leaderboard)。 图片出处
(原图未提供独立图注) 图片出处

内容摘要

作者认为题库型基准已接近饱和,于是改用"模型造出来的东西"作为评测对象。具体任务很直接:每个模型用同一份固定提示词,交出一台完整机器人——硬件写成 MJCF XML(MuJoCo 的机器人结构描述格式),控制器写成 Python——再到 MuJoCo 仿真里推台互搏。胜负由产物的物理接触判定,而非人工偏好或大模型打分;模型必须同时处理几何、材料、质量分布、执行器与反馈控制。

三条生成路线分别是:采样套件(SH)无反馈产出 10 个产物;验证器引导的精炼套件(VGH)把模型当优化器迭代 10 轮,每轮读校验反馈与比赛回放再改设计;设计实验室套件(DLH)给它含模拟器与校验器源码、可跑 Shell 和 Python 的沙箱工作区,预算 10 次 API 调用。

结果有反直觉之处:VGH 在 21 个模型中的 15 个上拿到最高 Elo,GPT-6 Astra(1539)、Claude Fable 5.1(1310)、Gemini 3.8 Flash(1223)居前三;GPT-6 Astra 用完全不给反馈的 SH 也拿到 1352 Elo;自主权最大的 DLH 在同样预算下对多数模型落后于 VGH,前七名一件没有,三个模型没有冠军。产物也像工程代码:精炼运行中 63% 的控制器是多模式状态机,代码 71 到 1700 行不等。作者还发布了模拟器、套件和锦标赛基础设施,接受社区提交。

点评

对做机器人本体软件的人,这是一条"模型造机器人 → 仿真对战 → 排名"的完整回路:模型交出的不是一段说明,而是一份能编译的 MJCF 结构和一段能运行的 Python 控制器,胜负由两台机器人的物理接触算出来,所以改外形、配重或策略会直接改写战绩,这与本体软件里做形态—控制取舍时的反馈回路是对应的,只不过这里的裁判是仿真物理。DLH 那种把模拟器源码、校验器和 shell 一起丢进沙箱让模型自己跑的做法,也对应大家熟悉的"跑仿真回归、让代理改控制器"的用法。评测与选型的人则可以把它当成问答榜单之外的一类观察点,但要注意分数只在 MuJoCo 这一套规则和对手集合里成立。产物与成绩全部出自论文作者自建的仿真竞技场,本文材料中没有第三方复现,应先按作者自报结果看待。

全部结论来自 MuJoCo 仿真,作者自己写明"在这里造出机器人并不意味着它在真实世界能用",因此榜单只应读作仿真中的竞争性物理设计与控制能力,不能当作真机能力;作者预期只有当仿真更接近现实时,同一套场地与套件才可能原样搬到实物对战。Elo 是用 Bradley-Terry 模型换算到 Elo 尺度的相对分,只在这一套规则、材质与对手集合下有意义;榜单持续接受社区提交,论文中的数值只是发表时的快照。模型名称按论文表格原样引用;文中数字均为作者在同一套仿真与提示词条件下自报,未经第三方复现。

版本与核查范围

版本 2610.06511v2 · 原文定位与程序检查、独立上下文模型复核;不代表独立研究复现。。依据已核查材料整理;未运行模型或机器人。

原文与定位

  • 原文链接 #S1.p2.1;#S1.p4.1;#S2.SS1.p1.1;#S2.SS3.p2.1;#S2.SS3.p3.1;#S2.SS3.p4.1;#S3.SS1.p1.1;#S3.SS1.p3.1;#S3.SS1.p4.1;#S3.SS2.p3.1;#S1.p10.1;#S3.SS5.p1.1