跳至正文
原文导读 · 原标题中译

H2RBench:评估人类到机器人迁移的实到仿真基准

H2RBench: A Real-to-Sim Benchmark for Evaluating Human-to-Robot Transfer

材料发布 2026-10-25 · arXiv · 作者论文 · 核查 2026-10-30
图 2:H2RBench 评测流程总览。我们将真实世界的工作空间重建为 Isaac Lab(NVIDIA 的机器人仿真环境)中的仿真环境,并在四个操作任务、覆盖多样物体摆放分布的条件下采集任务特定的人类与机器人示范数据。随后在仿真中依据统一的基准协议对各方法进行训练与评测,以实现可控的 H2R(由人类动作迁移到机器人)对比。 图片出处
(原图未提供独立图注) 图片出处

内容摘要

机器人操作策略若走人机迁移(H2R,即用人类视频加少量机器人示教来训练机器人策略)这条路,横向比较一直很难:现有方法各用各的任务、场景和机器人示教量,方法差异与数据效率差异被混在一起,而真机评测又贵、耗时、难以大规模复现。这篇论文提出 H2RBench:把真实工作台重建为仿真环境,所有方法用同一批真实人类视频加仿真机器人示教训练,固定机器人示教量、只改变人类视频数量,以此回答“多给人类数据到底有没有用”。

基准含四个桌面操作任务:杯子放盘子、叠碗、甜甜圈插销钉、积木入盒;机器人示教固定为 40 或 100 条,人类示教最多用到 100 或 300 条。场景在 NVIDIA Isaac Lab 上重建,作者用 Marble 替代原 PolaRiS 流程生成网格与高斯泼溅表示。评测把任务拆成若干累积阶段,报告各阶段平均的任务推进度 Prog. 与末阶段成功率 SR,每组方法-任务配置跑 90 次随机 rollout、3 个种子。

作者报告 GHOST 跨任务最强且最稳定(拾取放置 Prog 91.1、SR 82.2,叠碗 88.9/76.7)。人类示教在拾取放置上稳定加分、叠碗有益,说明现有方法主要迁移高层空间意图;插入任务常常变差,积木入盒这类长序列操作收益有限,误差在重复交互中不断累积。

仿真排序基本能预测真机:机器人加最多人类示教时 Pearson r=0.894、Spearman ρ=0.851、逐任务 MMRV 均值 0.060,只用机器人示教时 r=0.971、ρ=0.940、MMRV=0.014;偏差集中在叠碗(该任务 MMRV 升到 0.171)。

点评

对机器人本体软件开发者,这是一套把“哪种人机迁移方法、人类视频给多少”放进同一套可重复仿真实验的协议,也提示了一份“哪些行为能迁移、哪些不能”的清单——人类视频主要改善高层空间意图类行为,接触密集的插入等任务甚至会变差;不同方法随人类数据量变化的曲线差异又说明,加数据的收益强烈依赖任务结构和该方法跨越形态差异的策略。

证据身份:仅有一篇作者自评的 arXiv 预印本,全部数字均为作者自报,本次材料中未见第三方独立复现,也无独立来源交叉验证;基准只覆盖桌面刚性物体与四个任务,不含可变形物体、铰接物体和双臂协同;真实人类示教在受控第三人称机位采集,未含第一视角或野外视频;仿真重建的物理保真度有限,叠碗这类精确任务的仿真-真机一致性最弱;相关系数与 MMRV 只在四个方法、四个任务、每种训练条件下 16 个方法-任务组合上统计,样本量有限;所有方法均使用其原论文推荐的默认超参,并按需做最小改动以适配该基准的观测模态。

版本与核查范围

版本 2609.24778v3 · 原文定位与程序检查、独立上下文模型复核;不代表独立研究复现。。依据已核查材料整理;未运行模型或机器人。

原文与定位

  • 原文链接 #S1.p2.1;#S3.SS1.p1.1;#S3.T2.2.1;#S3.SS3.p1.1;#S5.SS1.p1.1;#S5.SS1.p4.1;#S5.T3.6.1;#S5.SS1.p5.1;#S5.SS2.p2.1;#A4.T14.2.1;#A4.T13.2;#S6.p1.1