EgoFound3R：具有逐点交互属性的世界空间端到端第一视角手部重建

Figure 3：EgoFound3R 总览。自我中心视角（egocentric）视频输入以手部速率 H 编码；冻结的 VGGT-Ω 主干网络内置的 DINOv3 特征提供共享视觉特征，适配器（adapter）据此构建结构化的根节点、关节与表面提示（prompt）。双向时序 Transformer 跨 H 帧连接双手，对相邻提示做池化得到全局场景锚点 G ⊆ H，其 H:G 比例可调。经提示驱动的 VGGT-Ω 聚合器为显式手部头（解码手部几何、可见性、接触与距离）以及场景头与度量头（将双手置于世界坐标系中）提供输入。图片出处

Figure 4：跨速率提示与点解码。(a, b) 手部提示以速率 H 运行，全局锚点 G ⊆ H 以可配置的更低速率对它们进行聚合。(c, d) 共享的点表示（shared point representation）解码几何形状与逐点属性。图片出处

内容摘要

第一视角视频中的相机运动、手物遮挡和绝对尺度缺失，使世界坐标下的手部重建困难；分阶段估计手部、相机与接触还会重复编码，制约标注吞吐量。作者提出EgoFound3R，将手部几何与逐点交互属性纳入统一模型。

方法以结构化手部提示复用冻结的VGGT-Ω几何骨干，通过显式点表示共同解码几何、可见性、接触和距离；共享参数多速率设计保留密集手部观测，降低全局场景聚合频率。推理仅需单目视频，不依赖深度、标定、物体模板或独立检测裁剪阶段。

作者报告，在OakInk-v2、TACO和HOI4D上，相对各自最强基线，未对齐平均关节位置误差（Raw MPJPE）分别下降43.2%、22.4%、11.6%。在单张NVIDIA H20、512×512输入的报告配置下，手部观测处理吞吐量为28.69帧/秒，是WiLoR的5.97倍；该指标不是插值后的输出帧率。

比较受评测协议约束：百窗口子集仅在匹配组内排名，世界坐标指标区分真实与预测外参。模型依赖未来帧插值和整段对齐，仍属离线方法，不能将吞吐量视为在线部署能力。

点评

把几何与交互属性解码合并，并减少重复场景聚合，为第一视角视频的大规模手部标注提供一条统一处理路线。

结果应按作者论文报告解读。接触基线的接触定义不同，几何基线还使用真实手物几何，不能据此作无条件排名；离线处理也不等于实时部署。

版本与核查范围

版本 2610.01210v2 · 原文定位与程序检查、独立上下文模型复核；不代表独立研究复现。。依据已核查材料整理；未运行模型或机器人。

原文与定位

原文链接 #S3.SS1.p1.1；#S1.p2.1；#S1.p3.1；#S1.p3.1；#S1.p3.1；#S1.p3.1；#S4.SS2.SSS0.Px1.p1.1；#S4.SS6.p2.1；#A3.p1.1；#A8.p1.1；#A4.SS0.SSS0.Px4.p1.1；#S3.SS6.p1.1

内容摘要

点评

原文与定位

关联知识节点

收录报告