跳至正文
原文导读 · 原标题中译

HARP-Bench:在活动的人类周围评测机器人操作

HARP-Bench: Benchmarking Robot Manipulation Around Active Humans

材料发布 2026-11-08 · arXiv · 作者论文 · 核查 2026-11-15
图 1:HARP-Bench 的任务设计。人类活动被组织为四种评测条件。Cueing(提示)改变机器人应当做什么,Contribution(协作贡献)改变保留哪些子任务,Interruption(打断)改变机器人何时或以何种方式行动,Co-presence(共同在场)则在保持原目标不变的前提下增加运动约束。 图片出处
图 2:HARP-Bench 流程总览。每个任务都会初始化一个包含物体、机器人本体(embodiment,即机器人的形态与传感器配置)和由虚拟形象(avatar)驱动的人类活动的场景。同一套任务设置支持两种使用模式:闭环评测,其中虚拟形象事件在执行过程中发生并计算指标;以及数据生成,其中记录脚本化的交互轨迹用于机器人学习。 图片出处

内容摘要

现有机器人操作基准大多默认机器人是工作区里唯一的主动体;人在旁边干活时,会改变机器人该做什么、哪些物体可用、哪里能安全运动。HARP-Bench 把「人同时在场」当作操作问题本身的一部分,而不是背景噪声。

基准含 37 个任务实例,按人的作用分四类:提示(人用动作透露该做什么)、贡献(人已完成部分子任务)、打断(人临时查看或占用物体)、共处(人在旁做无关工作、只增加运动约束),每类都有配对的无人版本用于受控对比。实现用动画人形化身,化身事件在策略闭环执行中触发,并提供脚本化演示采集和 LeRobot(开源机器人学习库)兼容的数据接口。

落差明显:能看到化身位姿与事件的全状态专家成功率 0.99,拿不到这些信息的专家 0.48,学习策略低得多——最好的 π0 也只有 0.19,ACT 为 0.10。成功率高不等于更安全:ACT 反而在三项安全指标上最好(接近违规率 0.080、平均最小间距 0.133 米、碰撞率 0.102)。失败归因里操作与恢复占 60–66%,碰撞占 22–27%。

用基准自带演示逐任务训练 ACT,仿真中人在场任务平均成功率从 0.10 升到 0.15;真机 xArm 上基础策略在纯机器人任务 0.40、人-贡献 0.13,用人在场演示训练后升到 0.33,人-打断则仍为 0.00。

点评

对机器人本体与策略开发者,HARP-Bench 把「旁边有活人」从不可控干扰变成可复现、可造数据的评测维度,并给出一套安全指标;它同时说明,只看任务成功率不足以判断机器人在人身边的行为,需要另看碰撞与间距。

以仿真为主:脚本化化身事件不模拟真人的连续自适应与意图变化;只覆盖桌面操作,未涉及移动操作与长时程协作,交互难度也无系统递进;成功与几何安全指标不衡量等待、绕行、识别已完成子任务等行为,仿真安全不等于部署安全;真机验证仅在 xArm 平台一项任务族上进行,人-打断场景仍未解决。

版本与核查范围

版本 2611.11123v1 · 原文定位与程序检查、独立上下文模型复核;不代表独立研究复现。。依据已核查材料整理;未运行模型或机器人。

原文与定位

  • 原文链接 #S1.p1.1;#abstract1.1;#S1.p8.1;figcaption[25];#S1.p5.1;#S4.SS2.p1.1;#S4.SS2.p2.1;#S4.SS2.p4.1;#S4.SS2.p3.1;#S4.SS3.p3.1;#abstract1.1;#S6.p1.1