内容摘要
真机评测策略时，每次执行都会顺带产生带标注的失败数据，但这类数据很少作为数据集公开。作者对比八个代表性真机基准后指出，没有一个把评测回合作为带标签的语料发布。
ArmnetBench v0.1 评测的全部回合被整体放出：3,718 条、约 26 小时，含 600 条遥操作演示和 3,118 条策略执行回合，每条带成功、次优或失败的人工标签，并提供 LeRobot v3.0 与 Robometer 奖励模型两种格式，在 Hugging Face 上开放。对机器人本体软件开发者，这些带标签的失败样例可直接用于训练成功判别器和回合级奖励模型、筛出模仿学习样本，或转成离线强化学习的终止奖励。
12 个桌面任务各有 50 条遥操作演示，7 种策略（模仿学习与视觉-语言-动作，即 VLA 模型）都在同一批演示上训练或微调，并在同一个工位执行，因此同一任务下能看到多个策略各自的失败；全部由同一位操作员标注。硬件是同处一室的 3 个 SO-101 工位（两个单臂、一个双臂），每工位 3 路 20 fps 相机，记录关节与夹爪位置。
3,118 条执行回合里成功 724 条（23.2%）、次优 106 条（3.4%）、失败 2,288 条（73.4%），失败占七成多正是它区别于纯演示数据集的地方。次优样本只有 106 条且集中在 4 个任务，标签实际接近二元、不含部分进度信息；成功回合在完成时截断、失败回合录到操作员停手，回合长度和结尾的静止动作会泄露标签，训练需做长度对齐或截断；失败回合的 next.done 只表示操作员停手而非终止状态。
点评
价值在于把评测环节的副产品变成可复用的训练数据。对机器人本体软件工程师，这批样本的用处很具体：在同一硬件与任务设置下拿到多个策略的真实失败片段和人工标签，可以直接搭成功检测、回合级奖励模型和离线强化学习的数据管道。论文本身是一份采集与标注说明，并附上使用限制清单。
覆盖面窄：数据全部来自同一房间的三个工位、每任务一个工位，环境光固定，未记录物体初始位置；线缆与滴眼液工位的前视相机偏位、双臂右腕视角略糊，仅凭图像可能推断出策略身份。元数据未标出哪 2,518 条回合构成基准本体，排行榜无法从这份发布精确复现；Robometer 导出每回合存三行，切分必须按回合而非按行。证据边界：本次材料为该论文 v1 的固定版本正文（非滚动更新的榜单或目录页），作者自述其记录采集方式与使用限制，Hugging Face 上的实际文件本次未核验。
版本与核查范围
版本 2611.03168v1 · 原文定位与程序检查、独立上下文模型复核；不代表独立研究复现。。依据已核查材料整理；未运行模型或机器人。
原文与定位
- 原文链接 #S1.p1.1；#S3.p1.1；#S2.p3.1；#abstract1.1；#S2.p5.1；#S2.p2.1；#S3.p2.1；#S4.I1.i1；#S4.I1.i2；#S5.p2.1；#S5.p3.1；#S5.p4.1