操作改变外部物体的状态,包括抓放、插接、装配、柔性整理、双臂协作与移动操作。末端形态只是条件之一,感知、力/位置控制、任务分解和恢复同样影响成功。
| 能力类型 | 主要路线 | 难点 |
|---|---|---|
| 刚体抓放 | 示范/VLA、仿真生成与随机化 | 物体与相机变化、抓取失败 |
| 精密接触与柔性 | 力/阻抗控制、真机 RL、人工纠正 | 摩擦/形变、奖励检测、重置 |
| 双臂与移动操作 | 协同策略、任务规划、全身控制 | 长链错误累积与接触切换 |
当前判断 · 2026-10-10 核查
受控接触技能可习得,控制和重置也是成立条件。 HIL-SERL 的插接依赖限幅阻抗控制,柔性线缆等任务仍需人工重置;Playground 的仿真手内旋转能迁移,但卡块和机构柔性仍造成失败。两者不支持任意非结构环境或持续稳定操作。原文条件 · 迁移失败
增加触觉需区分完整成功和步骤进展。 STAR v2 的同数据无触觉训练对照中,耳机翻转成功改善,取书完整成功率却持平,虽然后者步骤完成率提高。指缘传感覆盖不足是作者解释之一,不是已隔离的唯一原因;推理时屏蔽触觉也不同于重新训练无触觉策略。消融协议
历史观察
按发布时点排列,反映本站已收录范围,不代表完整研究时间线。
- 苦涩的教训可能正走向机器人:9 个前沿模型在真机上操控机械臂的系统评测
对做机器人本体软件和具身策略接入的工程师,这篇评测把「大模型能操作真机」换成了可对照的工程量纲:同一台真机、同一套动作接口下的得分、每个子任务的耗时与 API 花费。40 步动作预算下最强模型也只有 45%–48% 的部分完成度,接入流程不能按「一条指令完成搬运」来设计;速度与成本明显反向取舍,选型要按自身节拍和预算匹配,而不是只挑分数最高的模型。弱模型把动作预算浪费在空夹和反复找位置上(Opus 5 平均要 6.7 个动作才把夹爪移到正确位置),提示动作接口设计、失败恢复与抓取自检逻辑可能比换模型更值得先做——这是本篇报道的工程推论,不是论文结论。文中「苦涩的教训」是作者的趋势外推,不是已验证的落地效果。
- GeoMem-VLA:把三维场景理解内化为时序记忆的视觉-语言-动作模型
给机器人本体软件工程师,可迁移的是“几何监督 + 因果时序检索 + 相似条目合并”这套记忆结构:几何在训练期由冻结教师教成 token,部署期只作为回合记忆被检索,推理链路里无需挂载 3D 模型与几何解码头,但检索、门控融合与合并逻辑仍要在策略内部实现。表中领先幅度来自训练数据与协议不一致的横向对比,只能当参考;真正指向两个模块价值的是同协议消融:LIBERO 上两项差距都不大,RoboTwin 上也只在 50 个任务中的 35 与 27 个上占优。
- FlowVLA:学习流动感知的物理完成状态,用于机器人定量倾倒
对控制软件开发的启示是:可将“怎么动”与“倒够没有”分开建模,并把回正后仍会流出的液体计入停止条件;这是作者实验支持的设计思路,不是通用部署能力证明。
- KITE:分开学习交互意图与硬件动作,迁移操作任务
对本体软件开发者,价值在于明确任务策略与硬件动作实现的分工:已有交互策略可以保持不变,新增硬件的适配集中在运动学解码器组,而非重新采集目标任务示范;这仍需要目标运动学模型及相应训练。
- 在关键处学习:面向局部接触密集操作的自主数据采集与离线强化学习
对操作软件开发的启示是保留抓取、搬运的规划流程,把数据采集与学习集中到精密接触段,并明确接触触发、完成判断等模块接口,而非必须端到端重训整个任务。
- PrismWAM:解耦世界动作模型中的状态表示
对机器人软件开发者,值得借鉴的是让目标理解与几何演变预测承担不同职责,并让动作生成读取深度演变特征,而非必须生成未来彩色画面。
- 学习任务,而非时序安排:减少双臂模仿学习中的虚假跨臂耦合
对双臂策略开发者,这提供了一条不改策略架构、从训练数据时间安排入手减少无谓等待的路线;目标不是让双臂完全独立,而是在需要配合时仍保持依赖。
- 价值即记忆:面向通用机器人策略的在线价值引导后训练
将价值预测从训练监督扩展为策略输入,为任务进度记忆与部署经验闭环更新提供了一条经真机消融检验的后训练路径。
展开其余 16 条历史观察
- Mem4Act:为长时程机器人操作学习有效的潜在记忆
研究将历史覆盖、保留内容与策略利用一并纳入记忆学习,为长时程控制提供固定长度的策略输入接口;但固定接口不等于历史处理成本固定。
- 全身灵巧性
将灵巧操作的学习对象从末端扩展到手臂—躯干之间的接触转换,为粗略遥操指令下维持物体支撑提供了一条技术路径。
- TGrasp6D:任务引导的视觉语言先验与位姿细化实现零样本任务导向六自由度抓取
该工作展示了先以任务语义约束抓取生成、再做几何细化的路线;消融支持细化改善几何可行性,但不能充分纠正选错功能部位的问题。
- DexFLEX:用于指令引导灵巧操作的接触感知基础控制器
该工作展示了将上游意图表达与接触敏感执行分离的低层控制接口:用预测的接触后果筛选动作,而不只依据动作先验或草案匹配。
- 多物体多目标投掷的快速规划
该工作展示了以单目标候选生成和多目标协调分解投掷规划的路径;执行更快与在线响应更快取决于不同搜索策略,并非同一配置同时取得。
- HRDexDB:跨人类与多种机器人本体的4D灵巧抓取数据集
为研究共享物体上的跨本体抓取差异提供几何标注和示范—执行关联;作者实验支持将已记录机器人抓姿作为未见物体抓取的检索先验。
- MobileVISTA:用于移动操作位姿泛化的生成式数据增强
作者实验支持以配对的视觉—动作合成数据改善底座位姿鲁棒性;这是数据生成框架,不是新的策略架构,也不应据此推断通用操作能力。
- DNPush:面向物体运输的多机器人系统分布式非平行推力控制
将局部方向偏差从需要消除的误差转为推力分配信号,使无机器人间通信的协同推动不再局限于同一直边上的平行接触。
- ResCue:用于语言条件模仿学习的残差空间提示
作者的受控消融支持:除了获得目标掩码,掩码与RGB特征的融合位置和方式也影响操作成功率,为连接预训练目标定位与动作学习提供了一种接口。
- SkeleWAM:面向高效机器人操作的骨架世界—动作建模
作者消融支持将未来几何预测用作训练监督、而非推理必经步骤,为紧凑世界—动作模型提供了一条可研究的路线。
- 超越当前场景:基于主动视角选择的事件指代抓取
这项作者真机研究将事件记忆用于目标识别和空间搜索;消融结果尤其支持历史空间先验对搜索效率的作用,而非证明其必然提升抓取成功率。
- 无人机足球:学习利用多旋翼下洗气流进行操控
作者论文为将多旋翼下洗气流作为非接触操控手段提供了真机可行性证据,展示了简化动力学模型配合闭环学习控制的用途。
- ContactExplorer:面向通用灵巧操作的接触覆盖引导探索
作者实验支持将状态条件化接触覆盖作为灵巧操作的探索组件;受限物体取回实验显示,它可减少对人工接触初始化的依赖。
- CompVLA:面向接触密集操作的可变柔顺视觉—语言—动作模型
将方向性柔顺与主动施力纳入VLA输出,为连接多模态策略和底层接触控制提供了一条具体路线。
- 通过互联实现抓取:基于粗略物体模板的鲁棒闭合运动
作者结果支持将部分抗几何误差能力直接设计进闭合轨迹,而非完全交给反馈纠错;这是闭合运动规划层面的证据。
- IM-ENGINE:用于具身数据生成的图像编辑
其价值在于把生成图像中的任务语义转成可验证的三维状态与轨迹,而不只将图像作为视觉目标;作者实验展示了这一路径用于抓取和关系约束型放置的可行性。
关联报告
来源与阅读
- HIL-SERL v3 · §3 / §4 / §6 · 2026-10-10 核查原文;版本、任务条件及证据类型见 T02 基线依据,未运行复现。
- RoboTwin 2.0 v2 · §4.4 / Table 4 · 2026-10-10 核查原文;版本、任务条件及证据类型见 T02 基线依据,未运行复现。
- SONIC v4 · §2 / §3 / 补充材料 · 2026-10-10 核查原文;版本、任务条件及证据类型见 T02 基线依据,未运行复现。
- MuJoCo Playground v1 · §IV / §VI · 2026-10-10 核查原文;版本、任务条件及证据类型见 T02 基线依据,未运行复现。
- STAR v2 · §V-A/C/D / Table III / §VI · 2026-10-10 T05 核查 v2 的共同训练条件;取书成功持平、步骤进展改善,作者证据,未复现。
