跳至正文
原文导读 · 原标题中译

TGrasp6D:任务引导的视觉语言先验与位姿细化实现零样本任务导向六自由度抓取

TGrasp6D: Task-Informed Vision-Language Priors and Pose Refinement enable Zero-Shot Task-Oriented 6DoF Grasping

材料发布 2026-10-15 · arXiv · 作者论文 · 核查 2026-10-18
Figure 2:TGrasp6D 总览。给定单张 RGB-D(彩色—深度)观测与一条自然语言任务指令,视觉—语言模型识别并定位任务相关的可供性(affordance,即物体上可供该任务操作的部分),并预测图像空间中的抓取朝向。这些线索被提升到三维,形成带任务信息的抓取先验,从中采样候选 6DoF(六自由度)抓取,并在保持任务一致性的同时做避碰精修,得到最终的任务导向抓取。 图片出处

内容摘要

作者提出TGrasp6D,以单次RGB-D观测和自然语言任务指令生成任务导向的六自由度抓取,无需任务专用训练或微调。方法先由视觉语言模型识别并定位与任务相关的物体功能部位,预测图像中的抓取方向,再将这些线索提升至三维,形成任务引导的抓取先验;随后采样候选位姿,通过优化兼顾避碰与任务区域一致性。在TaskGrasp评测中,作者仅保留至少有20个人工标注抓取的物体—任务对,共310个实例;成功判据为夹爪扫掠体积与任一对应真值抓取的交并比至少达到0.1。按该协议,TGrasp6D成功率为94.5%,最强基线FoundationGrasp为73.7%;移除位姿细化后降至89.4%。作者还在Franka Research 3上测试5件物体、10种物体—任务组合,每种组合进行10次试验,TGrasp6D成功93/100次,GraspGPT与FoundationGrasp分别为41/100和52/100。这些结果属于作者论文实验,应分别按数据集协议和真机测试范围解读。

点评

该工作展示了先以任务语义约束抓取生成、再做几何细化的路线;消融支持细化改善几何可行性,但不能充分纠正选错功能部位的问题。

单视角输入易受深度噪声、遮挡及点云缺失影响;方法依赖大型视觉语言模型,存在时延与成本负担,且未显式建模接触力学或闭环执行。

版本与核查范围

版本 2610.20901v1 · 原文定位与程序检查、独立上下文模型复核;不代表独立研究复现。。依据已核查材料整理;未运行模型或机器人。

原文与定位

  • 原文链接 #S1.p4.1;figcaption[25];#S5.SS1.p1.1;#S5.SS2.p2.1;#S5.SS3.p2.1;#S5.SS4.p1.1;#S5.SS4.p1.1;#S5.SS3.p2.1;#S6.p1.1;#S6.p1.1