跳至正文
原文导读 · 原标题中译

HubEgo-100K v1.0:真实工位熟练劳动的第一视角视频数据集(作者发布版)

HubEgo-100K: In-the-Wild Egocentric Video of Skilled Work for Robot Learning

材料发布 2026-11-17 · arXiv · 作者论文 · 核查 2026-11-20
(原图未提供独立图注) 图片出处
图 6:HubEgo-100K 的一个片段(14.8 分钟),内容是在钟表匠的工作台上进行机芯装配,视频、传感器与标注排在同一条时间轴上。上:六帧图像及其在片段中的时间。中:原始加速度计与陀螺仪数据流(每条流 88,864 个样本的 min-max 包络;虚线标出上述六帧),以及一个 0.2 秒窗口,其中给出各视频帧的采集时刻、原始加速度计采样点,以及各帧时刻经线性插值得到的数值与逐帧读数的计算方法。下:发布的标注。据模型估计,采样帧中至少有一只手出现的比例为 99.8%,两只手同时出现的比例为 90.3%,在任务上的占比为 99.7%。 图片出处

内容摘要

机器人操作策略用模仿学习训练后,换到训练时没见过的地方和物体上通常明显掉点。论文引用的已有研究认为,泛化能力主要随训练环境与物体的多样性增长,而不是靠同一个环境里多录演示;机器人数据要跨很多环境采集,成本高,而第一视角(头戴视角)人类视频可以大规模野外采集。问题在于,现有第一视角数据集大多拍的是日常生活,几乎没有真实工位里的熟练手工劳动。

HubEgo-100K 的首个发布版 v1.0 补的就是这块:10,124 小时 1080p 第一视角视频,带每帧对齐的惯性数据(IMU,惯性测量单元),由 12,227 名贡献者用头戴手机在自己的工位或家中录自己未脚本化的指定任务;覆盖 15,548 个环境、11 种场景类型、30 个工作类别、56 个任务类型、35 个动作族,83% 的时长在工作场所。数据按 72,754 个片段(episode,即数据集的基本单位)切分,每段带机器生成的动作、难度和语言标注,以 LeRobot v3 数据集加 MCAP(一种传感器归档格式)发布,许可 CC BY 4.0。

采集后走一条以自动为主的流水线:头戴检测(剔除没戴在头上的画面)、按时间分段只保留双手在执行指定任务的片段、手部可见性门控、隐私检测与剪除、片段组装、完整性与时间同步检查,以及跨任务类型的时长再平衡,人工复核结论优先于自动判定。60 fps 录制的片段占 15.9%,被重编码为恒定 30 fps,其余保留手机原始码流。

对接训练管线的方式比较直接:目录表和标注表无需下载视频即可读取,单个片段可按需拉取;每个片段一行帧级表格,timestamp 是相对首帧的采集时刻,observation.state 是六个 float32 值(加速度计读数含重力、陀螺仪读数),由原生采样线性插值得到。论文给出的定位是 GR00T N1 训练金字塔底层的“人类视频”,用法是与少量机器人数据共训、先在人类视频上预训练再在机器人数据上微调、或只用它训练视觉编码器;作者还提供按任务类型分层的贡献者不重叠训练/验证/测试划分(按需申请),用于评估对未见贡献者与环境的泛化。作者自报的分布统计显示时长很分散(没有贡献者超过 0.22% 的时长,中位贡献者只录 21.3 分钟),在 v1.0 内随机排列片段时,最后 10% 的时长仍带来 356 名新贡献者和约 84 个新名词词元;手部可见率与在任务上比例都是模型估计(至少一只手出现在 94.7% 的采样帧、双手 76.3%、在任务上比例 96.9%),并非人工审核结果。

点评

对做机器人本体软件与训练管线的工程师,这份数据最实用的是交付形态:目录表(逐片段一行,含任务类型、工作类别、贡献者与录制标识、时长、设备信息、手部可见率和完整性信号)与标注表(描述、指令、动作族、技能组、难度、场景类型、在任务上比例)可以直接读取用于筛选和配比,不必先下载全部视频;需要细看时再按片段拉取 MP4 视频和 MCAP 原生传感器流,而视频与传感器共享同一条时间轴,帧级 observation.state 里带加速度计与陀螺仪读数,可直接用于头部运动估计或视觉-惯性里程计一类的预处理。按任务类型分层的贡献者不重叠划分(按需申请)能让“对未见贡献者与环境的泛化”这句话被真正测到,而不只是看同一批人的新场景。

需要区分清楚的是:以上用法是论文提出的定位与建议,论文本身没有给出任何用该数据训练出的模型或机器人实验结果,本篇只做统计;手部可见率和在任务上比例是模型估计,标注由模型生成且未经人工审核;清洗与标注流水线未公开,论文里的统计全部由已发布的目录表与标注表算出,分析脚本需向作者索取。

本文只做统计分析,没有训练任何模型或跑机器人实验,实验留待后续版本;文中的数字均为作者从发布表格计算所得,未涉及独立第三方复现。标注由模型生成且未经人工审核,手部可见率与在任务上比例是模型估计;5.5% 的片段存在超过 1.5 倍标称间隔的帧间隔,重编码片段可能含重复帧,单集时间漂移的中位绝对值为 0.017 s;原生惯性采样率因操作系统而异(iOS 约 100 Hz,Android 中位约 497 Hz);素材来自 56 种手机型号,未提供相机标定,相机与惯性传感器之间的残余时间偏移也未测量。清洗与标注流水线未公开,分析脚本需向作者索取。隐私过滤会剪掉检出儿童、他人面部或私人文字(文件、屏幕、卡片、车牌)的片段并留 5 秒余量,面部占画面比例过大的录制被剔除。任务类型的时长经再平衡,其占比不代表该任务在现实中的出现频率,模型应在实际使用条件下评测。

版本与核查范围

版本 2611.21938v1 · 原文定位与程序检查、独立上下文模型复核;不代表独立研究复现。。依据已核查材料整理;未运行模型或机器人。

原文与定位

  • 原文链接 #p2.2;#S1.p4.1;#S1.I1.i2.p1.1;#S3.I4.i2.p1.1;#A1.SSx4.p2.1;#A1.SSx5.p8.1;#S6.p1.1;#A1.SSx6.p4.1;#S3.I3.i1.p1.1;#A1.SSx5.p2.1;#A1.SSx2.p18.1;#A1.SSx4.p6.1