内容摘要
机器人融合多种传感器,但既有稠密对应方法多局限于RGB或少数模态对,逐对训练也难以扩展。作者提出TartanMatch,以单一共享网络覆盖RGB、事件、热成像、深度和投影激光雷达之间全部25种有向配对,预测稠密流与共视性。
方法基于RGB预训练的UFM,保留各传感器的测量结构,通过轻量学习投影适配输入,而非统一转为固定伪彩图。训练混合真实与合成数据,采用先冻结编码器、再端到端微调的两阶段流程。
作者报告,在真实世界零样本基准上,相对各受测模态对的最强基线,跨模态与同模态平均端点误差(EPE)分别降低61.9%和49.6%。另在TartanAirV2验证集的联合训练实验中,相对逐对训练,两类平均EPE分别降低34.1%和17.8%,15个受测配对中11个改善。
这些结果需按实验条件理解:真实基准比较限于有公开权重的可用基线;联合训练收益来自TartanAirV2实验,并非全部25种有向配对均逐项取得提升。
点评
该工作为多传感器稠密对应提供共享模型路线,并在指定实验中显示跨模态联合训练的正迁移。
证据为作者论文实验,不是独立复现结论;跨模态里程计、跨传感器标定和地点识别仍被列为后续应用方向,不能据此认定机器人通用能力提升。
版本与核查范围
版本 2610.14513v1 · 原文定位与程序检查、独立上下文模型复核;不代表独立研究复现。。依据已核查材料整理;未运行模型或机器人。
原文与定位
- 原文链接 #abstract1.1;#S1.p4.1;#S1.p5.1;#S3.SS5.p1.1;#S1.p7.1;#S4.SS2.p2.1;#S4.SS6.p4.1;#S5.p1.1
