跳至正文
原文导读 · 原标题中译

MAIA:通过多模态世界模型预判接触密集型操作中的交互异常

MAIA: Anticipating Interaction Anomalies in Contact-Rich Manipulation via Multimodal World Models

材料发布 2026-10-15 · arXiv · 作者论文 · 核查 2026-10-18
图 3:MAIA 总览。视觉—动作—力世界模型(VAF-WM)以门控动作—力适配器扩展 GE-Base,预测未来视觉与力变化;异常头融合预测及交互令牌,利用时序 Transformer 预测未来窗口内异常的发生、时间占比与位置。 图片出处
图 5:典型异常案例的模态消融。示例展示引入物理反馈后,MAIA 如何区分仅凭视觉与动作线索仍难判定的异常交互。 图片出处

内容摘要

作者提出 MAIA,将接触密集型操作的异常预判建模为执行前的动作评估:视觉—动作—力世界模型从正常执行中学习预期交互动力学,预测计划动作对应的未来视觉与力响应,再由轻量异常头估计异常是否发生及其时间占比。配套 CRIA 数据集包含 18 项真实操作任务的 2,852 条轨迹,提供同步多模态信号与逐帧异常标注。实验使用 13 项已见任务训练,另留 5 项新任务,每项用 10 条训练轨迹适配。

作者报告,已见与新任务的平衡准确率(bACC)分别为 0.765 和 0.710,预警提前量中位数分别为 28.0 和 25.1 步;该提前量仅统计成功预判的事件,并非所有异常均能提前发现。真机部署时,冻结的 π0.5 策略每次生成 8 个候选动作块,MAIA 选择预测异常概率最低者;在 18 项任务、每种方法每项 30 次试验中,总体成功率由 52.6% 升至 61.5%,无需重训底层策略。这些是作者论文报告的结果,新任务成绩包含适配,不应解读为零样本通用能力。

点评

这项工作展示了世界模型的一种用途:预测计划动作的物理后果,为执行前的候选动作筛选提供依据,而不只在异常出现后报警。

有限预测窗口与固定历史长度可能限制长时异常预判;实验仅覆盖单一机器人及固定力/力矩传感配置,跨本体、跨传感器泛化尚未验证,也未解决根因诊断或自主恢复。

版本与核查范围

版本 2610.21686v1 · 原文定位与程序检查、独立上下文模型复核;不代表独立研究复现。。依据已核查材料整理;未运行模型或机器人。

原文与定位

  • 原文链接 #S1.p4.1;#S4.p2.1;#S4.SS3.p2.1;#S6.SS1.SSS1.p1.1;#abstract1.1;#S6.SS1.SSS3.p1.1;#S6.SS5.p1.1;#abstract1.1;#S1.p6.1;#S7.p2.1