跳至正文
原文导读 · 原标题中译

DynaFLIP:通过三模态动力学引导的表征重新思考机器人感知

DynaFLIP: Rethinking Robotics Perception via Tri-Modal-Dynamics Guided Representation

材料发布 2026-11-03 · arXiv · 作者论文 · 核查 2026-11-06
图2:DynaFLIP 总览。三种模态被编码为嵌入,置于共享的超球面空间中。图像编码器(由 DINOv2 初始化并完整微调)通过 CLS token 与均值池化的 patch token,从 I_t、I_{t+H}、I_{t+H} 产生逐帧特征,随后融合为 z_I。冻结的 T5 配合一个可学习适配器,从指令 L 的 EOS token 产生 z_L;3D 光流编码器从 F_{t:t+K} 产生 z_F。对齐损失最小化这些嵌入所张成的面积 A,辅助的 actor 对比损失与时序对比损失进一步强化对动力学敏感的表征。我们预训练的图像编码器可作为多种下游策略的视觉主干;在指令条件策略中,也可以选择性地加入语言编码器。 图片出处
图6:真实世界操作结果(VLA 策略)。DynaFLIP 不仅在三个同分布(in-distribution)任务上表现良好,在两种分布外(out-of-distribution)扰动类型下同样表现良好。上排对比同分布(已见)任务与分布外(未见)评测设置,下排给出三个同分布任务及两种分布外设置上的成功率(%)。 图片出处

内容摘要

机器人操作策略普遍复用为静态识别或图文对齐训练的视觉编码器(CLIP、SigLIP、DINOv2),把运动交给下游控制;编码器因而盯上视觉显眼但与控制无关的区域,而非被操作的物体或接触点。DynaFLIP 的思路是把运动理解上移到感知层:用图像帧对、语言和 3D 流动(补偿相机运动后的三维位移)作训练期监督,塑形一个测试时只看单帧的图像编码器。

三种模态互补,且都能从无动作视频提取,因而可用大规模人类视频。核心机制是让三模态嵌入在共享单位球面上张成面积尽量小的单纯形(即三角形面积),体积越小对齐越强;为避开几何歧义与平凡坍缩两个退化,作者把面积最小化与余弦正则、InfoNCE 式对比框架结合,另加时间对比损失与 actor 损失作辅助目标。

消融显示对比框架最关键:LIBERO 四个套件平均成功率,完整方法 44.0,去掉负样本三元组降至 18.1,去掉余弦正则 39.8,去掉 3D 流动 37.1,去掉语言 35.4。作为可复用骨干,LIBERO 五个套件在冻结编码器下平均 41.5(LoRA 微调 81.0),优于 SigLIP 与 DINOv2;MetaWorld 平均 78.9,RLBench 54.0。真机上把冻结编码器以轻量视觉注入接入视觉-语言-动作模型,在 UR3 机械臂评测同分布任务与两类分布外扰动(视觉/空间、语义),作者报告相对最强基线最高提升 22.5%。

限制:预训练仅 260K 轨迹,小于若干大规模视觉与视觉-语言基线;3D 流动由均匀 20×20 关键点网格估计,会纳入与任务无关的运动,可能引入噪声监督。本条为 arXiv 滚动更新流的 v2 预印本,未经同行评审;数字均为作者自报,本次未独立复现。

点评

对机器人本体软件工程师,这提供了一条"换视觉骨干"的路径:编码器在下游冻结、或只训练一个轻量注入模块即可复用,不必改动策略结构;预训练只需 RGB 视频,不需要机器人动作标注。作者更大的主张是:机器人泛化部分是一个感知问题,视觉表征应编码动力学与控制相关信息,而不只是视觉显著性。

预训练规模仅 260K 轨迹,小于若干大规模视觉与视觉-语言基线;3D 流动由均匀 20×20 关键点网格估计,会把与任务无关的运动一并纳入,可能引入噪声监督。真实机器人结果为作者自报,本次未独立复现;22.5% 只给出"相对最强基线"的上限口径,未说明对应任务与基线。

版本与核查范围

版本 2605.30350v2 · 原文定位与程序检查、独立上下文模型复核;不代表独立研究复现。。依据已核查材料整理;未运行模型或机器人。

原文与定位

  • 原文链接 #S1.p1.1;#abstract1.1;#S1.p2.1;#S1.p4.1;#S3.F6.sf3.3;#S3.F6.sf1.3;#S3.T2.11.1;#A3.T5.12;#A3.T6.12;#S3.SS4.p1.1;#S1.p5.1;#S5.p2.1