跳至正文
原文导读 · 原标题中译

CoRA-VTLA:面向触觉后训练的接触引导注意力与可查询响应记忆

CoRA-VTLA: Contact-Guided Attention and Queryable Response Memory for Tactile Post-Training

材料发布 2026-11-18 · arXiv · 作者论文 · 核查 2026-11-20
图 2:CoRA-VTLA 架构与训练。(a) 一个语义 token(词元)S S 与 VLM(视觉-语言模型)前缀相连;接触 token 与记忆 token C C 和 M M 与动作专家后缀相连。(b) 响应预测用于初始化接触编码器与记忆编码器,随后进行联合后训练,监督信号包含动作、语义与注视(gaze)。 图片出处
图 5:仿真中与真实机器人上的接触区域注意力。(a) 在相同历史配置下,于配对的 MuJoCo(物理仿真器)帧上,比较有无注视监督时 L17 层的 VLM 语义查询注意力。(b) 在叠杯、盖章、插管三个任务的配对帧上,比较 VLA 与 CoRA-VTLA 在最终去噪步 L17 处的首个动作 token 注意力。绿色轮廓标出投影后的接触区域。 图片出处

内容摘要

精密装配中,对齐或受力的小误差就足以让工件卡住或变形,纯视觉看不出这种隐藏阻力。这项工作瞄准预训练视觉-语言-动作模型(VLA,把视觉与语言映射为机器人动作的通用策略)在接触后的纠错能力,指出两个障碍:单次触觉读数说不清近期动作造成了什么后果,把触觉直接融合进动作专家会打散其视觉注意力,减少分给接触区域的份额。

做法是给预训练 VLA 加轻量触觉模块,分两层。动作层是可查询的动作—响应记忆:记录每条指令执行后的载荷变化,按当前接触与机器人状态形成查询,从历史中检索与下一步最相关的响应送入动作专家。感知层是接触引导的凝视监督:把指尖接触投影到主相机图块,要求触觉语义 token(承载触觉语义的向量)的注意力落在该区域。训练先用一步响应预测初始化两个触觉编码器(不跑 VLA 主干,作者称额外开销很小),再联合优化动作、语义与凝视三个损失。

三个 MuJoCo 任务平均成功率 73.33%,同传感器输入的直接融合基线为 50%,差值的 95% 配对自助法置信区间为 14.67 至 32 个百分点;公开基准 UniVTAC 的 Insert Tube(改用光学触觉图像)达到 67%,基线为 46% 与 51%;UR5e 真机(Robotiq 140 夹爪、双指电子皮肤)上的三个任务平均 66.7%,最强基线 44.7%。消融中去掉记忆 token 降到 54%,去掉凝视监督降到 49.33%。

这些数字都出自论文自身的评测;本次可用材料只有该论文的 arXiv v1 全文,未见第三方复现。

点评

对做机器人本体软件的开发者,这是一条可复用的触觉接入路径:触觉不必整体拼进动作专家,可以先编码成按当前状态检索的响应记忆,再用指尖接触的投影约束视觉注意力落点。两个模块都在预训练 VLA 上做后训练,响应预测阶段不启动主干,只训练两个触觉编码器。

结果全部来自该论文自身的评测与统计口径,本次可用材料只有 arXiv v1 全文,未见第三方复现;其四次安全失效全部出现在钉子插入任务,插头插入与旋钮任务没有安全终止记录。

版本与核查范围

版本 2611.23963v1 · 原文定位与程序检查、独立上下文模型复核;不代表独立研究复现。。依据已核查材料整理;未运行模型或机器人。

原文与定位

  • 原文链接 #p2.1;#p2.1;#S3.SS2.p2.1;#p2.1;#S3.SS4.p1.2;#S4.SS2.p1.1;#S4.SS2.p3.1;#S4.SS2.p4.1;#S4.SS3.p2.1;#S4.SS3.p4.1;#S4.SS2.p2.1;#S4.SS1.p2.1