技术支撑 · 机器人怎样理解人的意图,表达状态并支持协作?
主要路线与入口
进展与证据边界
当前保留技术范围与比较入口;实时多模态交互到身体执行的代表性新结果尚待系统核查。优先补充任务中断、误解恢复和交互时延的证据,而非罗列所有语音或表情模型。
与相邻领域的关系
传感器与物理接触归 K04,运行时控制权归 K06,交互评测与风险边界归 K09。
本体、感知与执行能力 · 软件架构与工程系统 · 评测、可靠性、安全与治理。
历史观察
本领域含下级主题的去重材料;按发布时点排列,反映本站已收录范围,不代表完整研究时间线。
- 提问以演进:EvoLife 面向终身具身导航的统一框架——混合动作空间与持久记忆
对做机器人本体软件的工程师,可迁移之处在接口组织方式:把移动、求助、记忆做成同一决策循环里的可调用动作,把"地点记录"当作可持久化的数据对象跨任务保留并可修订,而不是每个任务从零开始。其消融量级可作参考——在 R2R 上交互把 SR 从 86% 拉到 100%,记忆回访再把 SPL 从 82.2% 提到 93.3%。这些均为作者论文自报结果,本次材料未包含独立复现。
- Tactus:面向自然灵巧操作数据采集的触觉与位姿感知手套
对做机器人本体软件与数据管线的团队,最可复用的是那两套评测协议和标定流程:可用来给自研或采购的手套定标、横向比同一套条件下谁更准;也可先按完成时间比与 NASA TLX 判断戴手套录演示数据是否值得,再决定是否承担每次佩戴的在线标定成本。注意工厂级标定需要气动标定台与假手这类硬件,不是纯软件流程;在线标定仍需人参与逐次校正。
- 探测视觉语言模型的"碰撞接地"能力:TouchSafeBench 基准显示机器人撞场景比撞人更难被识别
对做机器人本体软件与部署的人,最可用的结论有三条。其一,VLM 的短板不在"看不清"而在"绑不准",输入侧需要补上以机器人本体为中心的几何线索,例如本体坐标系标记、标定的相机到本体变换、机器人足迹叠加。其二,"识别当前是否接触"与"预警即将接触"要用不同的输入组合:俯视轨迹图压误报但会让当前接触识别变差,最好的预警分又来自彩色化深度的单视角输入,因此评测与调参必须按任务分开做。其三,误报与漏报要分开看,一个"从不报警"的监控器在这个基准上并不更安全——带机器人预训练的模型误报更低,却并没有更高的综合 F1。以上均为作者论文的评测结论与设计建议,材料中未见第三方独立复现,也不代表真实产品中的部署效果。
- SocialCoAct:为基于视觉语言模型的人形机器人提供并评测第一视角社交协同行为
对机器人本体软件开发者而言,这套做法把“话语—动作”的对应关系落到一组可枚举、可校验的原子动作上:模型只负责挑动作并指明它对应哪句话,关节轨迹由白名单映射生成,下半身固定在站立姿态,因此手势可以作为中间层接口来调试、替换和审计,而不必直接消费模型输出的关节量。基准侧的两点结论也可直接用于工程决策:扩展推理能提分但吞吐下降数十倍,加视觉帧在不同模型上未必更好——这两点决定了在线社交代理的延迟预算与模型选型。
- 全身灵巧性
将灵巧操作的学习对象从末端扩展到手臂—躯干之间的接触转换,为粗略遥操指令下维持物体支撑提供了一条技术路径。
- 基于全身模型预测控制与在线参数估计的显著惯性负载人形机器人遥操作
该工作展示了将在线惯性辨识直接接入全刚体预测控制的路径,使未知负载补偿与遥操作中的平衡控制协同工作。
- 用于连续物理人机交互的亚毫秒级反射
为 ROS 2 控制系统提供减少模式切换中断、衔接反射响应的工程路径,而非要求采用单一统一控制策略。工程开放仅按论文声明表述,不等同于独立研究复现。
- DexFLEX:用于指令引导灵巧操作的接触感知基础控制器
该工作展示了将上游意图表达与接触敏感执行分离的低层控制接口:用预测的接触后果筛选动作,而不只依据动作先验或草案匹配。
展开其余 5 条历史观察
- HIL-UMI:将视觉—语言—动作模型的人在回路后训练引入通用操作接口
其价值在于将策略感知的数据筛选与机器人执行解耦,为跨操作者、跨地点扩展采集提供路径,而非已经验证分布式训练。
- DITTO-X:面向灵巧操作与人工干预的正向和反向遥操作
研究将接管前的人机手形匹配纳入遥操作接口设计,为保持已有抓握状态的人工干预提供了具体机制。
- Recova:面向自主机器人操作的智能体引导失败恢复
这项作者研究展示了把失败恢复作为独立、可学习能力,并将人工干预转为后续训练数据的闭环路径。
- 超越当前场景:基于主动视角选择的事件指代抓取
这项作者真机研究将事件记忆用于目标识别和空间搜索;消融结果尤其支持历史空间先验对搜索效率的作用,而非证明其必然提升抓取成功率。
- CEER2:面向人形机器人移动操作的方向性、可调末端执行器与根部柔顺性
将末端各轴刚度与根部响应分开设定、同时执行,为操作接触与随人移动提供可组合的控制接口。
