核心跟进 · 机器人怎样在物理约束下感知、移动和操作?
主要路线与入口
| 方向 | 关注什么 |
|---|---|
| 身体与感知 | 形态、感知器件、工程限制:空间、负载、传感与成本 |
| 运动与全身控制 | 运动与控制、locomotion:模型控制、RL、动作模仿与全身协同 |
| 接触与操作 | 执行器、操作能力:夹爪、灵巧手、力控、柔性与双臂任务 |
进展与证据边界
公开样本核查:2026-10-10。SONIC v4 已同时报告参考动作跟踪及任务微调后的自主移动操作;每项 10—20 次任务测试不能替代长期运行。v4 细化统计和部署说明,主要任务结果在 v3 已存在。
窗口外 HIL-SERL 与 MuJoCo Playground 补充受控接触操作的迁移和失败样本,仍受任务、传感与重置条件限制。见 locomotion、操作能力 及 技术基线。
与相邻领域的关系
空间理解与导航也涉及 K01 的 VLN;学习方法归 K03,任务验收归 K09。本域优先能力路线与瓶颈,零部件参数按需深入。
模型与技术路线 · 数据、仿真与数据飞轮 · 训练、适配与算力部署 · 评测、可靠性、安全与治理。
历史观察
本领域含下级主题的去重材料;按发布时点排列,反映本站已收录范围,不代表完整研究时间线。
- 提问以演进:EvoLife 面向终身具身导航的统一框架——混合动作空间与持久记忆
对做机器人本体软件的工程师,可迁移之处在接口组织方式:把移动、求助、记忆做成同一决策循环里的可调用动作,把"地点记录"当作可持久化的数据对象跨任务保留并可修订,而不是每个任务从零开始。其消融量级可作参考——在 R2R 上交互把 SR 从 86% 拉到 100%,记忆回访再把 SPL 从 82.2% 提到 93.3%。这些均为作者论文自报结果,本次材料未包含独立复现。
- UMI-Live:面向野外双臂机器人数据采集的全栈开源系统
对做机器人本体软件与部署的工程师,UMI-Live 的价值在于把“人拿着夹爪在野外演示”到“机器人复现该动作”之间的中间环节做成公开可复现的工程件:采集不依赖现场机器人或外部追踪设备,录完自动产出可直接训练的数据集,采集与数据处理并行。要看清结果条件:成功数字来自“手持演示为主 + 少量目标机器人遥操作数据”的混合微调,而手持演示又采自与评测不同的地点和光照,因此它说明这类演示可以配合少量目标环境数据使用,不能据此推断纯手持数据就足以训出可部署的策略。
- RAIBO-Wagon:四足机器人拖挂拖车的实时导航系统
对做本体软件和导航栈的工程师,用处在于它把“拖挂让组合体动力学变复杂、可行指令集很窄”这一工程难题,落成一套可在机载算力上跑的分层方案:用生成模型给采样式 MPC 提供可行的初始指令,再用学到的动力学模型做在线评估与迭代精炼。文中还给出可直接对照的部署量级(全机载算力、每周期 0.3 s、256 条候选),以及一个反面教训——为免拖车变成点云里的障碍物而做的感知屏蔽,会在急转弯处连真实障碍一起删掉;在该组试验里,由屏蔽造成的直接碰撞比局部规划误差更严重。
- Tactus:面向自然灵巧操作数据采集的触觉与位姿感知手套
对做机器人本体软件与数据管线的团队,最可复用的是那两套评测协议和标定流程:可用来给自研或采购的手套定标、横向比同一套条件下谁更准;也可先按完成时间比与 NASA TLX 判断戴手套录演示数据是否值得,再决定是否承担每次佩戴的在线标定成本。注意工厂级标定需要气动标定台与假手这类硬件,不是纯软件流程;在线标定仍需人参与逐次校正。
- METATRON:面向人形机器人的可提示全身执行层
对机器人本体软件程序员,这是把"加新任务"从训练问题变成写提示与状态机代码的问题:同一份冻结权重靠改代码复用已学到的运动能力,技能规则还能交给编码智能体去分析动作数据、拟合与迭代。论文的分工也很清楚:执行层负责把粗略目标变成平衡与关节动作,"选目标、长时间规划"仍留在上层任务系统。
- MimicAll:面向跨人形机器人全身动作跟踪的结构化本体条件化
对做本体软件和全身控制策略的工程师,最值得借鉴的是把目标机体的结构、形态、动力学写成显式描述符,作为条件与观测一起送进共享策略,从而用一套参数覆盖多副身体;条件化方式可按目标取舍——论文里自注意力取得最低的全局位置误差,而简单拼接就足以改善动作完成率。工程上,参考库留在主机内存、只把活动的时间窗搬到 GPU,使显存占用不再随完整参考库增长,上千机体变体也能共用同一套训练流程。需要清醒认识的是:本文结论全部来自仿真,换到未见机器人家族会明显失效,真机与安全验证要自行补齐。
- ArtifactArena:用模型在物理世界里造出来的东西来评价模型
对做机器人本体软件的人,这是一条"模型造机器人 → 仿真对战 → 排名"的完整回路:模型交出的不是一段说明,而是一份能编译的 MJCF 结构和一段能运行的 Python 控制器,胜负由两台机器人的物理接触算出来,所以改外形、配重或策略会直接改写战绩,这与本体软件里做形态—控制取舍时的反馈回路是对应的,只不过这里的裁判是仿真物理。DLH 那种把模拟器源码、校验器和 shell 一起丢进沙箱让模型自己跑的做法,也对应大家熟悉的"跑仿真回归、让代理改控制器"的用法。评测与选型的人则可以把它当成问答榜单之外的一类观察点,但要注意分数只在 MuJoCo 这一套规则和对手集合里成立。产物与成绩全部出自论文作者自建的仿真竞技场,本文材料中没有第三方复现,应先按作者自报结果看待。
- V2-STRep:以视觉语言模型为基础的结构化任务表示,从生成视频中获取可复用机器人技能
对机器人软件开发者,其参考价值是把必须保持的任务约束与可供规划调整的运动自由度分开表达,而不是要求机器人逐帧追随全部视频姿态。
展开其余 67 条历史观察
- 苦涩的教训可能正走向机器人:9 个前沿模型在真机上操控机械臂的系统评测
对做机器人本体软件和具身策略接入的工程师,这篇评测把「大模型能操作真机」换成了可对照的工程量纲:同一台真机、同一套动作接口下的得分、每个子任务的耗时与 API 花费。40 步动作预算下最强模型也只有 45%–48% 的部分完成度,接入流程不能按「一条指令完成搬运」来设计;速度与成本明显反向取舍,选型要按自身节拍和预算匹配,而不是只挑分数最高的模型。弱模型把动作预算浪费在空夹和反复找位置上(Opus 5 平均要 6.7 个动作才把夹爪移到正确位置),提示动作接口设计、失败恢复与抓取自检逻辑可能比换模型更值得先做——这是本篇报道的工程推论,不是论文结论。文中「苦涩的教训」是作者的趋势外推,不是已验证的落地效果。
- GeoMem-VLA:把三维场景理解内化为时序记忆的视觉-语言-动作模型
给机器人本体软件工程师,可迁移的是“几何监督 + 因果时序检索 + 相似条目合并”这套记忆结构:几何在训练期由冻结教师教成 token,部署期只作为回合记忆被检索,推理链路里无需挂载 3D 模型与几何解码头,但检索、门控融合与合并逻辑仍要在策略内部实现。表中领先幅度来自训练数据与协议不一致的横向对比,只能当参考;真正指向两个模块价值的是同协议消融:LIBERO 上两项差距都不大,RoboTwin 上也只在 50 个任务中的 35 与 27 个上占优。
- FlowVLA:学习流动感知的物理完成状态,用于机器人定量倾倒
对控制软件开发的启示是:可将“怎么动”与“倒够没有”分开建模,并把回正后仍会流出的液体计入停止条件;这是作者实验支持的设计思路,不是通用部署能力证明。
- 看好脚下:面向人形机器人行走的预判式感知
对运动控制开发者,值得借鉴的是用预测落脚点筛选策略观察,而非把预测位置作为必须跟踪的落脚目标;作者实验表明,这种输入设计可减少达到指定地形难度所需的训练迭代。
- NVIDIA 扩展 Isaac:衔接机器人训练、运行时与人形参考平台
工程关注点是数据、训练、运行时与参考本体之间的接口和工作流。公告可作为工具链选型与接入评估的线索,但不代表集成收益或机器人通用能力已经得到独立验证。
- λ₀:规模化开放世界第一视角人类数据,用于人形机器人移动操作
对数据与控制软件开发者,这提供了把可穿戴采集的人类动作接入机器人状态—动作接口的路线:先离线对齐,再训练策略,而非直接回放人体轨迹。
- KITE:分开学习交互意图与硬件动作,迁移操作任务
对本体软件开发者,价值在于明确任务策略与硬件动作实现的分工:已有交互策略可以保持不变,新增硬件的适配集中在运动学解码器组,而非重新采集目标任务示范;这仍需要目标运动学模型及相应训练。
- 在关键处学习:面向局部接触密集操作的自主数据采集与离线强化学习
对操作软件开发的启示是保留抓取、搬运的规划流程,把数据采集与学习集中到精密接触段,并明确接触触发、完成判断等模块接口,而非必须端到端重训整个任务。
- PrismWAM:解耦世界动作模型中的状态表示
对机器人软件开发者,值得借鉴的是让目标理解与几何演变预测承担不同职责,并让动作生成读取深度演变特征,而非必须生成未来彩色画面。
- 学习任务,而非时序安排:减少双臂模仿学习中的虚假跨臂耦合
对双臂策略开发者,这提供了一条不改策略架构、从训练数据时间安排入手减少无谓等待的路线;目标不是让双臂完全独立,而是在需要配合时仍保持依赖。
- PhantomTac:利用部署后无需值守的标签劫持机器人触觉系统
对本体软件开发者,论文提示应检查触觉反馈与电机负载、运动状态是否一致,而不只依赖单一触觉阈值;这是作者提出的防御方向,并非已验证的部署效果。
- GRAIL:从世界模型生成人形机器人移动操作
对开发者的价值是提供一条从已知三维资产生成动作参考、转成机器人动作数据、再训练视觉策略的路线;作者将其定位为遥操作和动作捕捉的补充,而非替代。
- Humanoid SRL:通过额外肢体增强人形机器人的协同行走与操作
对本体软件开发者,这项研究提供了额外机械臂与全身平衡统一控制、上层视觉规划与底层执行分离的设计参考,而非把第三臂当作独立机械手。
- SocialCoAct:为基于视觉语言模型的人形机器人提供并评测第一视角社交协同行为
对机器人本体软件开发者而言,这套做法把“话语—动作”的对应关系落到一组可枚举、可校验的原子动作上:模型只负责挑动作并指明它对应哪句话,关节轨迹由白名单映射生成,下半身固定在站立姿态,因此手势可以作为中间层接口来调试、替换和审计,而不必直接消费模型输出的关节量。基准侧的两点结论也可直接用于工程决策:扩展推理能提分但吞吐下降数十倍,加视觉帧在不同模型上未必更好——这两点决定了在线社交代理的延迟预算与模型选型。
- HydroShear:用于触觉仿真到现实强化学习的水弹性剪切仿真
对触觉控制开发者,这项工作提供了以接触历史和滑移建模改进仿真到真机迁移的路线;工程接入需同时考虑真实数据标定与底层接触模型。
- 价值即记忆:面向通用机器人策略的在线价值引导后训练
将价值预测从训练监督扩展为策略输入,为任务进度记忆与部署经验闭环更新提供了一条经真机消融检验的后训练路径。
- Mem4Act:为长时程机器人操作学习有效的潜在记忆
研究将历史覆盖、保留内容与策略利用一并纳入记忆学习,为长时程控制提供固定长度的策略输入接口;但固定接口不等于历史处理成本固定。
- 全身灵巧性
将灵巧操作的学习对象从末端扩展到手臂—躯干之间的接触转换,为粗略遥操指令下维持物体支撑提供了一条技术路径。
- 基于全身模型预测控制与在线参数估计的显著惯性负载人形机器人遥操作
该工作展示了将在线惯性辨识直接接入全刚体预测控制的路径,使未知负载补偿与遥操作中的平衡控制协同工作。
- DemoStream:面向自动化示范学习的批量任务与运动规划优化
作者实验强调:规划能完成任务不等于其示范适合模仿学习,示范优化应关注下游策略效果。
- 迈向仿生视觉导航:面向微型飞行器的神经形态导航范式
这项作者论文把事件感知、脉冲决策和硬件执行接入真机导航闭环,为低推理能耗的微型飞行器导航提供了系统级可行性证据。
- 用于连续物理人机交互的亚毫秒级反射
为 ROS 2 控制系统提供减少模式切换中断、衔接反射响应的工程路径,而非要求采用单一统一控制策略。工程开放仅按论文声明表述,不等同于独立研究复现。
- 通过广义执行器网络实现肌肉驱动机器人的仿真到现实迁移
提供了一条无需力矩传感器、将复杂执行器学习与已有刚体仿真结合的策略训练路径;场景增删物体不必重新训练执行器网络。
- 从光流到安全:通过无尺度相对运动实现视觉安全认证
该工作的技术意义在于尝试直接以光流中的相对运动构造显式安全约束,并将估计不确定性纳入碰撞锥几何;材料支持的是作者在所述条件下的实现与验证,不支持跨方法性能排名或通用安全能力结论。
- KODA:面向人形机器人从人类第一视角示范中学习的运动学—观测数据对齐
价值在于将可复用的运动—观测记录与控制器专属监督分离,为固定机器人数据补充条件覆盖;跨控制器复用证据限于所测试的 SONIC 与 HEFT。
- 为学习而规划:在 GPU 上实现具有未来学习保证的实时鲁棒自适应控制
将未来可保证的学习收益直接纳入鲁棒规划,使控制器能够利用预期的管束收缩,并选择有助于降低参数不确定性的运动。
- TGrasp6D:任务引导的视觉语言先验与位姿细化实现零样本任务导向六自由度抓取
该工作展示了先以任务语义约束抓取生成、再做几何细化的路线;消融支持细化改善几何可行性,但不能充分纠正选错功能部位的问题。
- 基于在线接触式几何估计的负载感知四足机器人导航
将负载几何估计与导航策略连接起来,并用循环记忆保留稀疏接触信息,为未知尺寸负载的导航适配提供了研究路径。
- LifelongCrossNav:用于跨楼层多目标导航的持久三维语义记忆
作者的消融结果支持跨目标几何与语义记忆复用改善后续目标的导航效率;贡献在于将可查询记忆与跨层通行统一,而非证明通用导航能力。
- DexFLEX:用于指令引导灵巧操作的接触感知基础控制器
该工作展示了将上游意图表达与接触敏感执行分离的低层控制接口:用预测的接触后果筛选动作,而不只依据动作先验或草案匹配。
- Reflex:视觉驱动的反应式人形机器人控制
这项作者研究展示了通过共享动力学潜表示、冻结控制器来学习视觉接箱的路径,价值在于解耦视觉学习与全身控制,而非证明通用人形技能。
- 一种用于协作机器人运动生成的物理信息碰撞学习框架
为固定工作单元中的双臂规划提供可微的实体间距信号,并展示了边界监督与闭环控制结合的路径。
- 鳗鱼仿生软体机器人的执行器控制与健康实时估计器(REACH)
为软体游泳机器人的执行器退化监测提供了模型驱动方案,并给出特定仿真条件下的传感器选型与布置依据。
- 人形机器人全身控制中的精确 SE(3) 末端执行器跟踪
该研究展示了将显式任务空间几何反馈与学习修正结合的人形全身控制路径,并区分了参考系引入的目标运动与实际动力学扰动。
- 多物体多目标投掷的快速规划
该工作展示了以单目标候选生成和多目标协调分解投掷规划的路径;执行更快与在线响应更快取决于不同搜索策略,并非同一配置同时取得。
- HRDexDB:跨人类与多种机器人本体的4D灵巧抓取数据集
为研究共享物体上的跨本体抓取差异提供几何标注和示范—执行关联;作者实验支持将已记录机器人抓姿作为未见物体抓取的检索先验。
- MobileVISTA:用于移动操作位姿泛化的生成式数据增强
作者实验支持以配对的视觉—动作合成数据改善底座位姿鲁棒性;这是数据生成框架,不是新的策略架构,也不应据此推断通用操作能力。
- 条件轨迹峰:面向动作块的单次前向多模态策略
提供了一条将轨迹级多模态表示、跨块行为连续性与单次前向推理结合的策略设计路径。
- GEM-Occ:从视觉几何证据到具身语义占据记忆
该研究将“支持、矛盾与遮挡”区分处理,为兼顾持续占据记忆质量与存储、查询成本提供了作者实验依据。
- DITTO-X:面向灵巧操作与人工干预的正向和反向遥操作
研究将接管前的人机手形匹配纳入遥操作接口设计,为保持已有抓握状态的人工干预提供了具体机制。
- 通过基于采样的扰动观测器应对仿真到现实的失配:从解析模型到学习型世界模型
价值在于把扰动补偿接入滚动预测与代价查询接口,针对局部持续、与任务相关的失配进行修正,而非完整辨识仿真到现实差距。
- DNPush:面向物体运输的多机器人系统分布式非平行推力控制
将局部方向偏差从需要消除的误差转为推力分配信号,使无机器人间通信的协同推动不再局限于同一直边上的平行接触。
- ResCue:用于语言条件模仿学习的残差空间提示
作者的受控消融支持:除了获得目标掩码,掩码与RGB特征的融合位置和方式也影响操作成功率,为连接预训练目标定位与动作学习提供了一种接口。
- 学习用于稳健动态机器人行走的低频运动控制
该研究为学习式运动控制提供一种设计参照:在底层稳定跟踪的条件下,可以考察降低策略更新频率,而非默认追求高频。
- 面向安全人形机器人全身跟踪的滤波器感知微调(CoFiT)
对做机器人本体控制软件的工程师,这是一条"只改跟踪器、不改滤波器"的改造路径:现有安全滤波器继续承担训练后才出现的约束,跟踪策略通过一次带滤波器的微调学会主动少让滤波器动手,真机上把需要急停的次数从五次降为零次、违规时间降低 83%;代价是跟踪精度下降,需按场景取舍。
- SkeleWAM:面向高效机器人操作的骨架世界—动作建模
作者消融支持将未来几何预测用作训练监督、而非推理必经步骤,为紧凑世界—动作模型提供了一条可研究的路线。
- 超越排行榜分数:面向行人中心环境的部署导向可解释跟踪评测协议
将相近汇总分数背后的初始化、续跟、身份恢复和算力权衡拆开,有助于按部署条件选择跟踪器,而非只看榜单。
- 超越当前场景:基于主动视角选择的事件指代抓取
这项作者真机研究将事件记忆用于目标识别和空间搜索;消融结果尤其支持历史空间先验对搜索效率的作用,而非证明其必然提升抓取成功率。
- CEER2:面向人形机器人移动操作的方向性、可调末端执行器与根部柔顺性
将末端各轴刚度与根部响应分开设定、同时执行,为操作接触与随人移动提供可组合的控制接口。
- 无人机足球:学习利用多旋翼下洗气流进行操控
作者论文为将多旋翼下洗气流作为非接触操控手段提供了真机可行性证据,展示了简化动力学模型配合闭环学习控制的用途。
- RawVLA:面向机器人操作的具身神经图像信号处理器
该工作将成像处理作为机器人策略评测和适配的显式变量,提供了不更新VLA策略、转而优化视觉前端的技术路径。
- ContactExplorer:面向通用灵巧操作的接触覆盖引导探索
作者实验支持将状态条件化接触覆盖作为灵巧操作的探索组件;受限物体取回实验显示,它可减少对人工接触初始化的依赖。
- 用于激光雷达SLAM的退化正交几何约束
该工作展示了用横截面地标补充轴向几何信息、再与里程计联合优化的路线,而非仅抑制退化方向上的不可靠更新。
- SAKI:面向长时程移动操作的人类视频技能组装与运动学模仿
作者的消融结果支持:在相同下游求解与反馈条件下,准备可适配的交互参考仍有助于连续任务完成,不能仅靠全身优化和反馈替代这一环节。
- 多机器人轨迹去噪
将无需学习的扩散去噪作为轨迹优化工具,并扩展为解耦、在线和分布式规划,为不同规模与计算条件下的多机器人协调提供方法选择。
- 修订,而非重启:面向闭环世界—动作模型的可修订视觉计划
研究将反馈后的视觉计划修订连接到闭环控制。作者的损失消融提示,视觉预测误差降低不必然带来任务成功率提高。
- STeP:以信号时序逻辑为视觉语言模型动作生成提供精确规范
该研究为“语言推理—执行—监测—重规划”提供了共享的显式规范接口,支持在所测操作任务中将任务完成与约束满足分开评估。
- 具有独立活动腕骨、可实现类人自适应刚度调节的仿人软体机器人前臂
这项作者真机研究为机器人腕部设计提供形态学参考:保留近端腕骨独立自由度、正交肌肉布局和非对称凹凸关节面,可能有助于实现类人刚度调节。
- 估计,而非模仿:复用可微分的基于状态的策略实现视觉运动控制
作者实验支持将感知学习与既有控制器复用分开:状态估计不仅要接近真值,也可按其对下游动作的影响优化;收益及损失权重仍依赖任务。
- GINIO:面向神经惯性里程计的几何 SO(3) 等变接口
为学习式惯性测量与滤波融合提供可用于不同骨干和估计器的几何设计原则;重点是旋转鲁棒性与有竞争力的标称精度,而非所有标称条件下均领先。
- 生成、跟踪、改进:利用强化学习微调运动生成器实现感知式多技能人形机器人运动
作者实验表明,生成器微调可调整技能选择与地形一致性,是跟踪器微调之外的补充改进环节;不据此推断通用运动能力。
- CompVLA:面向接触密集操作的可变柔顺视觉—语言—动作模型
将方向性柔顺与主动施力纳入VLA输出,为连接多模态策略和底层接触控制提供了一条具体路线。
- 赢下已赢之局:面向高维黑箱系统的严格到达—避障—保持控制障碍函数
该工作把安全过滤的目标从单纯避险扩展为保留完成任务及保持成果的可能性。理论区分可行性保持与实际到达:进入终端安全集后的保持具有条件保证,但不能据此宣称任意任务策略都必然有限时间到达。
- 通过互联实现抓取:基于粗略物体模板的鲁棒闭合运动
作者结果支持将部分抗几何误差能力直接设计进闭合轨迹,而非完全交给反馈纠错;这是闭合运动规划层面的证据。
- CAP:通过学习式去噪实现感知—盲行连续自适应的人形机器人运动
这项作者研究展示了世界模型作为去噪感知模块、与本体感知持续协同的运动控制路径,而非依靠想象轨迹优化策略。
- IM-ENGINE:用于具身数据生成的图像编辑
其价值在于把生成图像中的任务语义转成可验证的三维状态与轨迹,而不只将图像作为视觉目标;作者实验展示了这一路径用于抓取和关系约束型放置的可行性。
- 用于高效变形飞行的尾流矢量控制
这项作者研究展示了通过被动气动结构补偿变形推力损失的路线,可减少对额外执行器和复杂控制策略的依赖。
关联报告
来源与阅读
- SONIC v4 · §2 / §3 / 补充材料 · 2026-10-10 核查原文;版本、任务条件及证据类型见 T02 基线依据,未运行复现。
- HIL-SERL v3 · §3 / §4 / §6 · 2026-10-10 核查原文;版本、任务条件及证据类型见 T02 基线依据,未运行复现。
- MuJoCo Playground v1 · §IV / §VI · 2026-10-10 核查原文;版本、任务条件及证据类型见 T02 基线依据,未运行复现。
