跳至正文
原文导读 · 原标题中译

学习面向通用灵巧操作的异构触觉表征(LingBot-Touch,arXiv:2611.12806v1)

Learning Heterogeneous Tactile Representation for General Dexterous Manipulation

材料发布 2026-11-10 · arXiv · 作者论文 · 核查 2026-11-15

内容摘要

商用触觉传感器(压阻式、磁性、视触觉)各自定义通道、排布、分辨率与采样率,一种传感器的读数对在另一种上训练过的模型没有意义,触觉数据也无法跨传感器汇集,因此一直缺少可用的触觉大语料。这次要补的正是"跨传感器翻译"这一层。

作者发布触觉基础模型 LingBot-Touch(arXiv:2611.12806v1):把各传感器的感知点(taxel,单个触觉单元)统一映射到规范的指尖空间,用隐空间预测目标(Tactile-JEPA)训练一个共享的 Transformer 主干;预训练语料为 5,000 小时、464K 段交互、1.33 billion 帧,来自操作者佩戴的触觉手套与遥操作机器人手,覆盖 24 类任务。

冻结编码器后接轻量探针读取接触物理:在预训练中见过的 Sharpa Wave 视触觉手上,指尖力恢复误差 0.81 N、触点中心误差 0.12 mm、接触面积误差 0.66 个百分点,作为对照的 FTP-1 分别为 2.31 N、2.19 mm、2.90 个百分点,仅凭触觉检索同一时刻视频帧的前 5 名命中率从 16.5% 升到 72.6%;换到预训练中未出现的磁性手 XHand1,不更新任何参数即达到 1.32 N、0.16 mm、0.43 个百分点、1.45 N 与 47.1% 命中率,FTP-1 配专用适配器为 3.72 N、5.89 mm、4.39 个百分点、2.00 N、6.0%。

部署侧的用法是即插即用:编码器保持冻结,其 token 追加到策略原有观测,策略本身与训练方式不改。26 个真机任务上,π0.5 成功率 48.1%→69.9%、LingBot-VLA 48.3%→73.1%、T-Rex 45.4%→68.6%、Diffusion Policy 21.6%→35.6%,作者称参数增幅远低于原策略的百分之五分之一;把同一份原始触觉信号直喂策略最多只拿到一半增益(7.0、6.6、8.2、11.2 个百分点),并在 104 组任务-策略配对中的 22 组让结果变差。仿真强化学习的十二个灵巧任务中,冻结特征平均成功率 69.0%,任务内自训的 CNN 特征 45.6%,无触觉 21.4%。

点评

对机器人本体与策略软件工程师:触觉编码器可以作为一个冻结的外挂模块插进后训练阶段,把传感器型号差异留在编码器内部,策略侧只需把触觉 token 当作额外条件输入,不必为每款传感器重训策略。作者报告的参数增幅远低于原策略的百分之五分之一,因此主要代价在接口改造而非重训策略。数据侧,作者把操作者佩戴触觉手套的录制与遥操作机器人手的录制放在同一套语料里训练,跨传感器迁移是这项工作的明确设计目标(属于作者主张,尚无独立复现)。落地前需注意:论文只在 Sharpa Wave 与 XHand1 两种手型、指尖区域上验证;电容式传感器未进入预训练,手掌与手指其他部位的接触表征不足;编码器层面的通用对照只有 FTP-1 一项,且作者为它单独训练了传感器适配器。跨型号复现前,建议在自己的手型与传感器上先做小规模验证。

验证范围限于 Sharpa Wave(视触觉)与 XHand1(磁性)两种手型、指尖区域、26 个真机任务与十二个仿真强化学习任务;电容式传感器因可用数据未达质量要求而未纳入预训练,手掌与手指其他部位的接触表征不足(作者自述限制)。编码器层面的通用对照只有 FTP-1 一项,作者为它单独训练了传感器适配器。增益并非全面:作者报告 104 组任务-策略配对中有 9 组低于直喂原始触觉信号、5 组低于原始策略。本次材料只有该论文 PDF 正文与附录,未含可运行的代码或权重,全部数字为论文作者自报,本次未做独立复现。

版本与核查范围

版本 2611.12806v1 · 原文定位与程序检查、独立上下文模型复核;不代表独立研究复现。。依据已核查材料整理;未运行模型或机器人。

原文与定位

  • 原文链接 page:1;page:1;page:3;page:19;page:9;page:10;page:15;page:15;page:16;page:16;page:17;page:19