PINT：以共享预测意图统一机器人操作的模型

图3（原 Figure 3）：未来视频预测（Future Video Prediction）在 ID/OOD（分布内/分布外，in-distribution/out-of-distribution）场景与不同训练阶段下的表现。我们可视化了在 Fast-WAM [8] 中训练的 VGM（视频生成模型，video generation model）以及 PINT 在阶段 1 与阶段 2 之后，对相同 ID 与 OOD 输入所作的预测（原文：We visualize predictions from the VGM trained in Fast-WAM [8] and PINT after Stage 1 and Stage 2 on the same ID and OOD inputs）。
在 VGM 冻结且没有直接文本条件输入的情况下，指令语义仅通过预测意图（Predictive Intent）抵达 VGM，由此已能产生粗略的任务动态（原文：With the VGM frozen and no direct text conditioning, instruction semantics reach the VGM only through Predictive Intent, already yielding coarse task dynamics）。
阶段 2 修正所学习的意图并适配 VGM，以获得更精确的运动（原文：Stage 2 fixes the learned Intent and adapts the VGM for more accurate motion）。 — 图3（原 Figure 3）：未来视频预测（Future Video Prediction）在 ID/OOD（分布内/分布外，in-distribution/out-of-distribution）场景与不同训练阶段下的表现。我们可视化了在 Fast-WAM [8] 中训练的 VGM（视频生成模型，video generation model）以及 PINT 在阶段 1 与阶段 2 之后，对相同 ID 与 OOD 输入所作的预测（原文：We visualize predictions from the VGM trained in Fast-WAM [8] and PINT after Stage 1 and Stage 2 on the same ID and OOD inputs）。在 VGM 冻结且没有直接文本条件输入的情况下，指令语义仅通过预测意图（Predictive Intent）抵达 VGM，由此已能产生粗略的任务动态（原文：With the VGM frozen and no direct text conditioning, instruction semantics reach the VGM only through Predictive Intent, already yielding coarse task dynamics）。阶段 2 修正所学习的意图并适配 VGM，以获得更精确的运动（原文：Stage 2 fixes the learned Intent and adapts the VGM for more accurate motion）。图片出处

内容摘要

把视觉-语言模型和视频生成模型在多层共享注意力里直接融合，会迫使两者各自专长的表示兼顾跨专家协调，作者认为这反而让它们更难用出各自强项。PINT 的思路是只留一条窄接口：提炼一段共享的预测意图，让视频生成模型和动作专家读同一份，而不改写彼此。

做法是把一组可学习的意图令牌插进视觉-语言模型序列，形成这段紧凑的意图表示，同时条件化视频生成模型和动作专家（AE）。视频生成模型原本吃文本提示，现在只替换这一路的条件，其预训练生成机制保持不变；推理时它仍保留在线，只对当前帧做一次前向并缓存各层键值特征供 AE 单向读取，未来视频去噪默认不做。训练分两段：先冻结视频生成模型，用预测未来画面的损失塑造意图表示；再固定意图，适配视频生成模型与 AE。骨架为 Qwen3.5-4B 与 Wan2.2-5B。

收益集中在分布外泛化：RoboTwin 2.0 的 Hard 成功率 15.5%，Fast-WAM 为 1.8%、StarVLA 为 3.2%；LIBERO-Plus 上 79.5%，两者为 51.5% 和 75.0%。真机五个双臂任务域内 68%、域外 24%，域外高于 Motus 的 9%，但低于 π0.5（Physical Intelligence 的视觉-语言-动作模型）的 35%。消融中把意图表示换回原文本提示，RoboTwin 从 68.6%/15.5% 降到 62.4%/11.1%。单张 A100 上生成 32 步动作块，PINT 331 毫秒、Fast-WAM 266 毫秒、PINT-VA 776 毫秒。

这些数字均为作者自评：多数基线转引自各自论文或公开榜单，并非统一口径复现；真机一栏的 π0.5 与 Motus 由作者用官方预训练权重、在同一批 700 条真机演示上微调后再评。论文也承认评测只覆盖操作任务与唯一一组骨干组合，与具身预训练结合、扩大训练规模仍属未来工作。

点评

对做机器人本体软件的工程师，可直接借鉴的是接口层面的三点：把跨模块共享信息压成一段紧凑的意图表示；只替换视频生成模型的条件入口、保留其预训练生成机制；以及“先冻结生成模型塑造意图、再固定意图适配专家”的两段式分工。推理期不做未来视频去噪、只跑一次当前帧前向，使延迟与同规模 Fast-WAM 接近（331 毫秒对 266 毫秒），本体实时性压力可控。

结果均为作者自评，本次材料未包含第三方对 PINT 的独立复现；多数基线数字转引自各自论文或公开榜单，未做统一口径复现（真机一栏的 π0.5 与 Motus 是作者在同一批 700 条演示上微调后测得）；评测只覆盖操作任务与唯一一组视觉-语言模型/视频生成模型骨干组合，未与具身预训练结合，也未验证更大规模训练。

版本与核查范围

版本 2610.16355v1 · 原文定位与程序检查、独立上下文模型复核；不代表独立研究复现。。依据已核查材料整理；未运行模型或机器人。

原文与定位

原文链接 #S1.p2.1；#S1.p3.1；#S3.SS4.p5.1；#abstract1.1；#A1.SS1.SSS0.Px1.p1.1；#S1.p4.1；#S4.SS2.SSS0.Px3.p1.1；#S4.SS1.SSS0.Px1.p1.1；#S4.SS3.p1.1；#A3.SS1.p1.1；#A3.SS2.p2.1；#S5.SS0.SSS0.Px1.p1.1

内容摘要

点评

原文与定位

关联知识节点

收录报告