采集方式
第一视角相机、手套、动捕、手持工具和力/触觉装置可记录不同层次的人类操作。各方式保留的几何、力、动作精度和成本不同。
人到机器的差距
需要动作重定向、可达性约束、相机视角适配及接触信息处理。人能完成的动作不一定能直接映射到机器人。
评估重点
在相同目标本体和场景上,衡量目标真机数据需求、迁移收益、失败分布及有效样本成本。
历史观察
按发布时点排列,反映本站已收录范围,不代表完整研究时间线。
- UMI-Live:面向野外双臂机器人数据采集的全栈开源系统
对做机器人本体软件与部署的工程师,UMI-Live 的价值在于把“人拿着夹爪在野外演示”到“机器人复现该动作”之间的中间环节做成公开可复现的工程件:采集不依赖现场机器人或外部追踪设备,录完自动产出可直接训练的数据集,采集与数据处理并行。要看清结果条件:成功数字来自“手持演示为主 + 少量目标机器人遥操作数据”的混合微调,而手持演示又采自与评测不同的地点和光照,因此它说明这类演示可以配合少量目标环境数据使用,不能据此推断纯手持数据就足以训出可部署的策略。
- Tactus:面向自然灵巧操作数据采集的触觉与位姿感知手套
对做机器人本体软件与数据管线的团队,最可复用的是那两套评测协议和标定流程:可用来给自研或采购的手套定标、横向比同一套条件下谁更准;也可先按完成时间比与 NASA TLX 判断戴手套录演示数据是否值得,再决定是否承担每次佩戴的在线标定成本。注意工厂级标定需要气动标定台与假手这类硬件,不是纯软件流程;在线标定仍需人参与逐次校正。
- H2RBench:评估人类到机器人迁移的实到仿真基准
对机器人本体软件开发者,这是一套把“哪种人机迁移方法、人类视频给多少”放进同一套可重复仿真实验的协议,也提示了一份“哪些行为能迁移、哪些不能”的清单——人类视频主要改善高层空间意图类行为,接触密集的插入等任务甚至会变差;不同方法随人类数据量变化的曲线差异又说明,加数据的收益强烈依赖任务结构和该方法跨越形态差异的策略。
- λ₀:规模化开放世界第一视角人类数据,用于人形机器人移动操作
对数据与控制软件开发者,这提供了把可穿戴采集的人类动作接入机器人状态—动作接口的路线:先离线对齐,再训练策略,而非直接回放人体轨迹。
- Spark-0:面向机器人灵巧操作的空间对齐触觉预训练规模化
作者实验支持将触觉作为可迁移的视觉预训练监督,而不只是部署时的额外输入;无触觉部署的 Ego Humanoid 结果是关键证据。
- ExoBridge:通过人体肢体耦合学习从裸手到手戴式外骨骼的映射
将外骨骼测量用作另一只裸手视频的监督信号,提供了连接视觉示范与机器人相关状态空间的路径;运动输出通过既有标定关联机器人手。
