跳至正文
原文导读 · 原标题中译

TartanMatch:迈向跨模态通用稠密对应

TartanMatch: Towards Universal Dense Correspondence Across Modalities

材料发布 2026-10-10 · arXiv · 作者论文 · 核查 2026-10-18
图2:TartanMatch 架构。 面向各模态的适配模块把每种传感器的输入映射为预训练主干网络所需的三通道输入:RGB 与热成像直接输入;事件(event)数据被体素化为 B = 15 个时间分箱,并由一个可学习的 1 × 1 卷积映射;深度数据与投影后的 LiDAR(激光雷达)数据共用「对数深度 + 有效性」表示,并使用同一个可学习的 1 × 1 卷积。 UFM 特征匹配主干网络(DINOv2 编码器、信息共享 Transformer、DPT 稠密预测头)在所有模态对之间完全共享。 图片出处

内容摘要

机器人融合多种传感器,但既有稠密对应方法多局限于RGB或少数模态对,逐对训练也难以扩展。作者提出TartanMatch,以单一共享网络覆盖RGB、事件、热成像、深度和投影激光雷达之间全部25种有向配对,预测稠密流与共视性。

方法基于RGB预训练的UFM,保留各传感器的测量结构,通过轻量学习投影适配输入,而非统一转为固定伪彩图。训练混合真实与合成数据,采用先冻结编码器、再端到端微调的两阶段流程。

作者报告,在真实世界零样本基准上,相对各受测模态对的最强基线,跨模态与同模态平均端点误差(EPE)分别降低61.9%和49.6%。另在TartanAirV2验证集的联合训练实验中,相对逐对训练,两类平均EPE分别降低34.1%和17.8%,15个受测配对中11个改善。

这些结果需按实验条件理解:真实基准比较限于有公开权重的可用基线;联合训练收益来自TartanAirV2实验,并非全部25种有向配对均逐项取得提升。

点评

该工作为多传感器稠密对应提供共享模型路线,并在指定实验中显示跨模态联合训练的正迁移。

证据为作者论文实验,不是独立复现结论;跨模态里程计、跨传感器标定和地点识别仍被列为后续应用方向,不能据此认定机器人通用能力提升。

版本与核查范围

版本 2610.14513v1 · 原文定位与程序检查、独立上下文模型复核;不代表独立研究复现。。依据已核查材料整理;未运行模型或机器人。

原文与定位

  • 原文链接 #abstract1.1;#S1.p4.1;#S1.p5.1;#S3.SS5.p1.1;#S1.p7.1;#S4.SS2.p2.1;#S4.SS6.p4.1;#S5.p1.1