世界模型画出的失败能不能当真，指令换目标后策略会不会照旧跑

多物体、多目标投掷需要兼顾动作耗时与规划开销。作者提出MOMT规划框架，让机械臂在连续运动中将手持物体投向不同目标，重点解决逐个独立规划可能造成的关节空间大幅转移。

方法将单目标解生成与多目标协调分离：利用固定基座机械臂的旋转不变性压缩表示，将描述有效释放状态的后向可达管与机器人最大速度字典匹配，每个目标的可行投掷构型生成耗时低于5毫秒；协调阶段以剪枝Greedy搜索权衡规划时间与执行耗时。

在Kuka iiwa 7搭配Allegro手的双物体实机实验中，10组目标配置下，Greedy相比Naive独立规划使执行时间减少29%，但规划耗时为69.8±32.3秒，Naive为0.06±0.02秒；两者均投中14/20次。动态改靶演示采用Naive，总重规划延迟低于100毫秒，无需停机，不能将该响应速度与Greedy的执行收益合并理解。

这些结果来自作者实验：实机抓持构型经手工调试，三、四物体扩展仅在仿真中评估；框架假设投掷空间无障碍，并将飞行物体视为不计气动与自旋的质点。

人类操作视频可为灵巧机器人学习提供经验，但保留裸手交互外观时，难以同步获得运动与触觉监督。作者提出ExoBridge，利用双手协调操作形成跨手监督，学习从裸手视频到传感外骨骼状态的映射。

采集时，裸露左手操作一个物体，佩戴外骨骼的右手在另一份物体上协调执行同一任务，同步提供编码器和触觉测量；不要求双手关节轨迹完全一致。时序视觉模型学习预测指尖接触、连续触觉强度及相对初始状态的编码器变化，推理仅使用裸手RGB视频。

作者在四项操作任务的1,215段示范上，按采集会话划分五折并使用三个随机种子评估。汇总任一指尖接触AUROC为0.916，触觉强度Pearson相关系数为0.790；编码器通道0—9的运动平均绝对误差为4.15，零变化基线为7.51。结果限于既有任务内的留出会话和固定相机条件下的离线状态预测，尚未验证桥接预测驱动的闭环控制。

问题。 视觉-语言-动作模型（VLA，把图像与指令转成机器人动作的通用策略）对两类改动常反应反了：只改外观（打光、风格、杂物、措辞）时任务语义未变，动作本该稳定却出现多余漂移；目标物体或约束真被换掉时，却照旧跑原轨迹。论文把两者称为互补的失效模式。

方法。 BAS-VLA 不换骨干、不重训基础策略，只在共享 VLA 的动作输出上挂一层轻量校准：默认的“破坏中心校准核”用干净/保义改写/语义破坏改写三联指令训练，要求干净与保义两路靠近干净参照、彼此靠近，破坏一路被推离干净动作区；另配一支按证据开启的保义辅助，只在干扰证据强、语义仍一致时弱修正基础动作。

结果（作者自测）。 四个目标物体互换任务聚合：改变后的任务成功率由 18/800（2.3%）升到 548/800（68.5%），旧任务成功降到 0/800。Milk-Swap 干净 98.0%、保义对照 97.5%、破坏条件下旧任务 0/200；黄油→奶油奶酪仍残留 113/200（56.5%）。风格偏移由 84/200（42.0%）升到 140/200（70.0%）。真机四个语义改变案例各 80 次试验，合计 15.9%→51.9%。

条件与代价。 语义破坏用 OpenPI-pi0.5 + LIBERO-Object，保义用 OpenVLA-OFT + LIBERO-Spatial（作者自行微调的载体）；破坏中心核 p50 增加 47–53 ms，保义与组合模式端到端 p50/p95 为 924/1,048 与 972/1,112 ms。

第一视角视频中的相机运动、手物遮挡和绝对尺度缺失，使世界坐标下的手部重建困难；分阶段估计手部、相机与接触还会重复编码，制约标注吞吐量。作者提出EgoFound3R，将手部几何与逐点交互属性纳入统一模型。

方法以结构化手部提示复用冻结的VGGT-Ω几何骨干，通过显式点表示共同解码几何、可见性、接触和距离；共享参数多速率设计保留密集手部观测，降低全局场景聚合频率。推理仅需单目视频，不依赖深度、标定、物体模板或独立检测裁剪阶段。

作者报告，在OakInk-v2、TACO和HOI4D上，相对各自最强基线，未对齐平均关节位置误差（Raw MPJPE）分别下降43.2%、22.4%、11.6%。在单张NVIDIA H20、512×512输入的报告配置下，手部观测处理吞吐量为28.69帧/秒，是WiLoR的5.97倍；该指标不是插值后的输出帧率。

比较受评测协议约束：百窗口子集仅在匹配组内排名，世界坐标指标区分真实与预测外参。模型依赖未来帧插值和整段对齐，仍属离线方法，不能将吞吐量视为在线部署能力。

罕见的车—行人高风险交互难以为端到端驾驶评测提供充足的传感器级数据。作者指出，轨迹生成方法不能合成原始视觉观测，视频方法则缺乏行为可控性，因此提出ControlPed，将冲突轨迹生成、人体动作合成与3D高斯泼溅渲染串联起来。

框架基于HazardPed数据集，包含高精地图及857段标注人体动作。方法先生成冲突轨迹，再通过文本条件扩散模型生成三维人体动作；生成过程中固定根节点水平位置，使动作对齐目标轨迹，最后将可驱动行人化身注入重建场景，输出多视角视频。

作者在88个人工检查的渲染场景中评测七个端到端驾驶模型，报告平均HDScore从88.8降至47.4。下降主要来自路线完成度、无碰撞和碰撞时间指标，可行驶区域合规性基本不变。

测试使用官方预训练权重，不作微调，且全部采用开环评测；路线完成度使用代理定义，在首次出现未来0.5秒内碰撞的关键帧终止路线。上述结果反映该渲染协议下的行人风险响应，不能直接视为闭环交互或真实道路安全结论。

机器人操作时，既要预测动作后的画面，也要生成动作，并理解物体的空间关系。Thinker-WM针对这些功能常由不同模块衔接的问题，把彩色视频、具有实际距离尺度的深度图和机器人动作放进共享中间表征，共同预测其变化。对开发者而言，这提供了用同一模型做未来预测、动作生成和视频转动作的接口思路。

模型保留各类输入输出专用的编码器与解码器，核心由统一动态变换器共享参数处理。深度并非仅作辅助标签，而是参与生成；训练初期深度读取视觉与动作信息，到具有准确深度监督的目标机器人微调阶段，再开放双向信息交互。

作者报告，给同一模型输入真实动作序列并移除语言提示后，EWMBench生成总分由4.66升至5.03，支持动作条件确实影响预测。在RoboTwin仿真的开关任务中，双向交互配置的闭环成功率为75.0%，纯彩色视频配置为60.0%；结果汇总三个训练检查点，每个检查点测试20次。这是特定仿真任务的对照实验，不能视为真机部署效果。

作者提出TGrasp6D，以单次RGB-D观测和自然语言任务指令生成任务导向的六自由度抓取，无需任务专用训练或微调。方法先由视觉语言模型识别并定位与任务相关的物体功能部位，预测图像中的抓取方向，再将这些线索提升至三维，形成任务引导的抓取先验；随后采样候选位姿，通过优化兼顾避碰与任务区域一致性。在TaskGrasp评测中，作者仅保留至少有20个人工标注抓取的物体—任务对，共310个实例；成功判据为夹爪扫掠体积与任一对应真值抓取的交并比至少达到0.1。按该协议，TGrasp6D成功率为94.5%，最强基线FoundationGrasp为73.7%；移除位姿细化后降至89.4%。作者还在Franka Research 3上测试5件物体、10种物体—任务组合，每种组合进行10次试验，TGrasp6D成功93/100次，GraspGPT与FoundationGrasp分别为41/100和52/100。这些结果属于作者论文实验，应分别按数据集协议和真机测试范围解读。

在 RoboTwin「调整水瓶」任务上，已公开的世界模型 Boundless World Model（BWM）基座 `step-12000` 只用规划成功的轨迹训练，会把策略抓取失败的片段渲染成成功，冻结分类器因此把 82.5% 的仿真失败误读为成功，画面没法用来判断一次操作是否成功。

该 Hugging Face 模型卡发布了一个微调检查点：改用含失败的 rollout（试错轨迹）再训 750 步，留出片段上失败误读为成功的比例降到 0.263，成功召回 0.964；只用成功数据微调无效（0.860）。权重与基座同结构，可直接替换 `step-12000.safetensors`。

它也能当强化学习环境用：在模型内用 PPO（近端策略优化）训练 π0.5 共 10 次策略更新，在 144 个留出初始状态上回到仿真器评分，5 个种子全部优于 SFT（监督微调）策略、平均高 9.7 分，但依赖三处 PPO 改动。

局限：动作细节决定成败时，训练数据中 29% 的失败仍被渲染成成功；训到 1000 步假成功率更低，成功召回却从 0.91 降到 0.73。数字均出自作者自述的模型卡，未见独立复现。

双手抱箱时怎样开门，搬动物体时怎样腾出手支撑身体？作者为人形机器人加装一条四自由度的额外机械臂，分别测试颈部和背部安装方式。真机展示中，原生双臂持续抱箱，颈部机械臂在行走时推门，背部机械臂则从身后操作门把手；改变的不只是触达范围，还有三条手臂之间的任务分工。

控制上，系统先用全身轨迹优化生成满足动力学、接触和关节力矩限制的参考动作，再训练强化学习控制器跟踪。教师策略利用仿真内部信息指导学生策略，部署时仅保留使用机身传感信息和任务参考的学生控制器；作者报告其从仿真零样本迁移至真机。

在外部框架支撑实验中，背部机械臂提供额外接触后，机器人承受了重复前后扰动，幅度达到实验安全上限10厘米；无该支撑时，在7.5厘米扰动下失衡。部分自主任务另接入扩散策略，即根据彩色、深度图像和机身状态生成短时动作目标的视觉规划层，底层控制器不变。作者展示了高架取物交付、堆箱稳定和搬箱过门三项自主任务，但新环境、新物体及更长流程的泛化仍待研究。

通用多模态大模型（能同时处理文字与图像的大模型）已能直接操控真机机械臂，但此前真机上的跨模型比较很少，真机的下垂、标定漂移、定位散布等误差也难在仿真中复现。作者在 RoboDojo 基准的六个操作任务上，用同一台双臂真机与同一套接口评测九个前沿模型、十五个（模型，配置）组合，并称这是首次在真机上对广泛前沿模型的系统比较。

评测由 Inspect Robots 框架闭环执行：模型每轮选一个动作，执行后把新观测追加回上下文，直到模型主动结束、耗尽 40 步动作预算或触发硬件故障。可用动作只有 move_to（每条臂提交含位置、姿态、夹爪开度的 7 元末端位姿，框架用逆运动学转成关节角）、done、give_up。任务拆成递进子任务按 0%–100% 打分，由 GPT-6 Astra（H）按三路相机录像评分。

当前模型已能完成多种真实操作，但精度与效率不足以在可接受的动作预算内可靠完成：最强模型平均得分 45%–48%，是持续的部分进展而非端到端成功；「扶正瓶子」在九个组合共 180 次试验中只有六次立起一个瓶子。弱模型主要输在抓取，GPT-5.6 Sol、GPT-6 Sol 合拢夹爪却没抓稳的比例达 64%、59%，Astra、Opus 5.5、Gemini 3.8 Flash 为 32%–39%。

进步很快：2026 年 7 月至 10 月性能翻倍时间 53.9 天；最好的子任务完成速率从每小时 12.4 个升到 54.4 个（57 天内 4.4 倍），最低每子任务 API 成本从 2.36 美元降到 0.38 美元（约 55 天内 6.2 倍）。但没有模型全面占优：GPT-6 Astra（H+UF）平均 1.1 分钟完成一个子任务却要 4.51 美元，Gemini 3.8 Flash（H）只要 0.38 美元却要 4.18 分钟；得分最高的 Gemini 4 Argon（H+PR）48.4%、0.97 美元/子任务，却只有 7.1 个子任务/小时，高推理延迟还可能让手臂过热而中断试验。作者由此提出「苦涩的教训」（Bitter Lesson）可能正走向机器人领域，这是趋势判断而非已验证结论。

前沿模型的推理与API延迟限制了机器人控制的响应速度。作者提出两条互补路径：让前沿模型生成示范、补充人工数据训练快速本地策略；部署时由前沿模型给出高层指令，本地策略负责动作执行。

第一条路径在上下文中加入纠错示范片段，展示如何依据视觉反馈修正物理误差。四项操作任务中，每项使用20条人工与20条生成示范训练的策略，与使用40条人工示范的策略均取得41/80次成功。部署时，前沿模型与本地策略组成的执行框架取得52/80次成功，本地策略单独执行为41/80次；这一结果不代表两种训练数据统计等效。

第二条路径对相同轨迹提供基元、原子子任务、复合任务三级标注，并加入多角度语言描述。在Fable 5指导下，联合监督使RoboCasa 365成功率从0.381升至0.485，BEHAVIOR-1K平均子目标进度从0.084升至0.143；两者不是同一种指标。比较采用相同预训练起点与训练步数，但评测任务已包含在训练任务集中，不能据此推断未见任务泛化。

把视觉-语言模型和视频生成模型在多层共享注意力里直接融合，会迫使两者各自专长的表示兼顾跨专家协调，作者认为这反而让它们更难用出各自强项。PINT 的思路是只留一条窄接口：提炼一段共享的预测意图，让视频生成模型和动作专家读同一份，而不改写彼此。

做法是把一组可学习的意图令牌插进视觉-语言模型序列，形成这段紧凑的意图表示，同时条件化视频生成模型和动作专家（AE）。视频生成模型原本吃文本提示，现在只替换这一路的条件，其预训练生成机制保持不变；推理时它仍保留在线，只对当前帧做一次前向并缓存各层键值特征供 AE 单向读取，未来视频去噪默认不做。训练分两段：先冻结视频生成模型，用预测未来画面的损失塑造意图表示；再固定意图，适配视频生成模型与 AE。骨架为 Qwen3.5-4B 与 Wan2.2-5B。

收益集中在分布外泛化：RoboTwin 2.0 的 Hard 成功率 15.5%，Fast-WAM 为 1.8%、StarVLA 为 3.2%；LIBERO-Plus 上 79.5%，两者为 51.5% 和 75.0%。真机五个双臂任务域内 68%、域外 24%，域外高于 Motus 的 9%，但低于 π0.5（Physical Intelligence 的视觉-语言-动作模型）的 35%。消融中把意图表示换回原文本提示，RoboTwin 从 68.6%/15.5% 降到 62.4%/11.1%。单张 A100 上生成 32 步动作块，PINT 331 毫秒、Fast-WAM 266 毫秒、PINT-VA 776 毫秒。

这些数字均为作者自评：多数基线转引自各自论文或公开榜单，并非统一口径复现；真机一栏的 π0.5 与 Motus 由作者用官方预训练权重、在同一批 700 条真机演示上微调后再评。论文也承认评测只覆盖操作任务与唯一一组骨干组合，与具身预训练结合、扩大训练规模仍属未来工作。

作者认为题库型基准已接近饱和，于是改用"模型造出来的东西"作为评测对象。具体任务很直接：每个模型用同一份固定提示词，交出一台完整机器人——硬件写成 MJCF XML（MuJoCo 的机器人结构描述格式），控制器写成 Python——再到 MuJoCo 仿真里推台互搏。胜负由产物的物理接触判定，而非人工偏好或大模型打分；模型必须同时处理几何、材料、质量分布、执行器与反馈控制。

三条生成路线分别是：采样套件（SH）无反馈产出 10 个产物；验证器引导的精炼套件（VGH）把模型当优化器迭代 10 轮，每轮读校验反馈与比赛回放再改设计；设计实验室套件（DLH）给它含模拟器与校验器源码、可跑 Shell 和 Python 的沙箱工作区，预算 10 次 API 调用。

结果有反直觉之处：VGH 在 21 个模型中的 15 个上拿到最高 Elo，GPT-6 Astra（1539）、Claude Fable 5.1（1310）、Gemini 3.8 Flash（1223）居前三；GPT-6 Astra 用完全不给反馈的 SH 也拿到 1352 Elo；自主权最大的 DLH 在同样预算下对多数模型落后于 VGH，前七名一件没有，三个模型没有冠军。产物也像工程代码：精炼运行中 63% 的控制器是多模式状态机，代码 71 到 1700 行不等。作者还发布了模拟器、套件和锦标赛基础设施，接受社区提交。

做机器人本体软件的人绕不开的问题是：Hugging Face（数据托管平台）上带 LeRobot 标签的开放数据集里，究竟有多少真能拿来训练真机？LeRobot 是该平台的开源机器人学习项目，可录制演示并分享。2026 年 10 月 23 日，LeRobot 团队账号之外有 81,881 个数据集带该标签。

这份单作者普查从标签池均匀随机抽了 400 个，按自定门槛筛选：至少 10 条演示片段（episode，一段完整演示记录），再加名称不标记测试或评估、至少有一个相机、名称不标记仿真三条。389 个能读到说明卡（dataset card）的数据集中，57% 片段数不超过 10，中位数为 10；过滤并阅读说明卡后剩 148 个，占可读的 38%（95% 置信区间 33%—43%），9 个的仿真属性未判定；门槛设为 5 条时占 42%，设为 20 条时降到 30%。

可用数据高度集中：三个是大型学术数据集的重复上传，合计占可用组 95% 的片段；其余 145 个中位数为 48 条片段，61% 采自低成本 SO-100/SO-101 机械臂，最大的 10 个占 68% 的片段。作者认为多数上传不是太小、就是测试或评估、或属仿真，可用的部分由单一机械臂形态主导。

开发者可据此给公开数据集分级：按片段数、是否标注仿真、是否只覆盖同一类本体，而不是按平台标签总量估算储备。普查本身未训练或评测任何策略。

视觉模仿策略既要识别操作相关区域，也要在多个候选物体中选中语言指定目标。作者提出ResCue，将语言目标转为掩码，以显式空间提示连接目标定位与动作学习，同时保留RGB场景信息。

其关键是独立编码掩码并进行空间残差融合：语言解析器提取目标描述，SAM 3生成掩码；提示特征在后续视觉处理及池化之前，与RGB空间特征逐位置相加。作者以扩散策略（DP）实现该方法，定位模型保持冻结，训练和评测均使用预测掩码。

作者报告，15项仿真任务的平均成功率为56.5%，DP和π₀分别为33.1%和40.7%；三项真机双臂任务为60.0%，π₀为31.7%。相同掩码的消融中，残差融合优于像素叠加、输入拼接和池化后融合；测试时换成错误目标掩码，成功率降至24.6%。这些比较限定于论文协议：基线使用相同任务数据、按官方方案微调，仿真每任务评测100回合，真机20次；各任务单独训练策略，自定义仿真评测仍使用训练物体。

多数视觉-语言-动作模型（VLA，把图像与语言指令转成机器人动作的模型）只看当前一帧的 2D 图像，单独推断出的几何信息用完即弃，没有沉淀成可累积的任务表示。GeoMem-VLA 的判断是：动作生成需要一份紧凑、与任务相关、能持续更新的几何抽象，而不是每步都给出完整 3D 重建。

做法是把显式 3D 监督“内化”成少量可学习的几何 token（GeoPlan）。训练时冻结的几何基础模型 VGGT 提供当前场景点图目标、演示轨迹提供未来末端执行器（机械臂末端）轨迹，二者合成几何流匹配目标来监督 token；token 与观测表示一起写进整段回合的记忆，每步检索历史并与当前观测自适应融合，相似条目被合并压缩，只留特征差异明显的状态。部署时几何教师与几何解码头从动作推理链路移除，几何只以隐向量留在策略内部，检索、融合与合并逻辑仍需自行实现。

作者自测、按基准适配后：LIBERO 四套件平均 98.9%（Long 套件 96.6%）；RoboTwin 2.0 清洁/随机化 91.10%/91.24%，平均 91.17%；5 个真机任务平均 78.0%。消融显示两个模块都有贡献：去掉几何分支，LIBERO 降至 97.9%、RoboTwin 降至 89.71%；去掉时序记忆分别为 98.2% 与 90.18%。真机每任务只有 10 次独立闭环 rollout，且须完成全部流程才算成功。

NVIDIA 在 Hugging Face 上线了一份可直接加载的 Cosmos3-Nano LIBERO-10 操作策略权重（评测覆盖 10 个操作任务）：bf16 safetensors 格式的 EMA（指数滑动平均）权重，7 个分片、约 30 GB，可由 `cosmos-framework` 策略服务器加载。它是 Cosmos Cookbook 一项受控合成数据研究中的第二个训练种子单元。

该研究的问题是：把真实演示改写成合成数据再训练，是否优于单纯重复同一批数据。训练数据为 379 条真实 LIBERO-10 演示加 1137 条来自第 1000 次迭代的重复样本，训练从第 1000 步续训到第 2000 步（全局批 2048，种子 43）。

厂商自测：标准场景成功率 93.3 ± 0.7%（10 任务 × 50 初始状态、三个评测种子；数值由训练运行自报、记录待归档）；加入随机光照、纹理、天空盒与相机抖动后，扰动场景成功率 85.5 ± 2.5%，2026-10-19 在评测床上测得。

限制：对照 R(seed 43) 没做第 2000 步的扰动场景评测，该单元暂不能单独说明“改写优于重复”；模型卡要求比较时配各自的重复对照，并提示 2.5 个百分点内的差异落在种子波动内。训练数据不随权重分发，原始 LIBERO-10 见 nvidia/LIBERO_LeRobot_v3，改写集需自行生成。

机器人能否不在控制环中调用模型，而以代码完成决策？作者提出纯代码即策略（COAP）：将机器人与环境状态视为图灵机的纸带，将策略视为规则，以显式状态变量驱动动作，而非在执行时调用VLM或VLA。

方法由代码从相机图像和本体感知中测量、维护状态；感知使用NumPy、OpenCV及已知物体几何。任务程序调用共享库，同一程序跨回合运行，执行时冻结。编码智能体离线检查失败记录、提出代码修改，并在验证布局上筛选改进，形成离线改代码、在线跑代码的闭环，而非机器人运行时自行改写策略。

作者报告，在RoboDojo的42项双臂任务上，COAP整体成功率为70.24%；每项任务使用三个种子、每个种子50种布局，测试时不使用深度、分割输入或模型服务。结果全部来自仿真，感知依赖基准公开的相机参数、机器人网格和物体尺寸；新任务仍需离线开发，能力上限取决于状态表示准确性与代码逻辑稳健性，不能据此推出真机或通用操作能力。

机器人基础模型（RFM，靠大规模真机示教训练出的通用操作策略）要再提性能，通常只能换更大模型、加更多示教数据、再做一轮基础规模训练。这篇论文给出互补路径：不改架构、不重做基础预训练、不新采大规模机器人数据，只加一层以动作为落点的因果推理轨迹。对做本体软件的工程师，改动集中在三处：重标注脚本、轨迹注入接口、运行时轨迹生成服务。

方法分三层：推理内容是固定七字段的轨迹（现状、原因、推论、期望效果、动作、禁忌、进度）；监督来源是 Gemini 2.5 Pro 解读示教视频选帧、GPT-5.5 生成状态检查并合成轨迹，把 DROID 重标为 ARC-Trace-DROID，覆盖约 74,740 条示教、约 1.2 百万个标注帧；接入方式是视觉-语言-动作模型（VLA，直接输出动作的策略）π0.5 用两层编码器把轨迹转成 token 追加到图像-指令上下文，推理时策略冻结，轨迹由外部视觉语言模型（VLM）按相机画面异步生成。

结果均为作者自报：RoboLab-120 默认指令下 Cosmos3-Nano+ARC 成功率 48.8%（+12.0 个百分点）、π0.5+ARC 45.3%（+17.3）；推理专项基准 RoboLab-Reasoning-50 上 π0.5+ARC 57.0%（+46.8）、Cosmos3-Nano+ARC 61.0%（+50.0），给 π0.5 加显式子任务的对照为 21.0%；真机配对评测 π0.5+ARC 91.7%，比原策略高 82.2 个百分点。限制：只用 DROID 一种本体，轨迹依赖外部 VLM 质量，RoboLab-Reasoning-50 为本文自建的 50 任务基准；本次材料只有作者论文，未见独立复现。

提高控制频率是否必然带来更稳健、反应更快的机器人行走？这篇作者论文以ANYmal C四足机器人检验低频控制，比较训练和执行频率为5—200 Hz的深度强化学习策略，而非跨平台排名。

方法采用运动控制器与底层执行跟踪器分层：策略根据机器人状态生成目标关节位置，底层跟踪器负责生成关节力矩；各策略使用PPO训练。低频策略对执行动态不敏感的解释有明确条件：执行器稳定时间短于控制步长，且底层能够稳定跟踪目标。

作者在真机定性评估中报告，8 Hz盲行策略实现约1.5 m/s前向速度；另一个8 Hz感知策略可跨越木制铁路枕木并上下台阶。论文还报告，低频策略对执行延迟更稳健，并展示无需动力学随机化或执行器建模的仿真到真机迁移。

结果不意味着频率越低越好：5 Hz策略只能稳定执行低速运动，反应不足；未使用执行器网络训练的策略虽可迁移，但动作不如使用该网络时平滑。作者称提供训练与部署代码，材料未构成独立复现证据。

把瓶子直立放到盘上、用海绵擦桌时，机器人需要保留任务要求，而非照搬视频轨迹。生成视频恢复出的动作通常只对应一个场景。作者提出V2-STRep，将其转成可复用的结构化任务表示，让已获取的技能适应新场景和兼容指令，无需重新生成视频。

系统用视觉语言模型（VLM）识别动作阶段、参照对象和姿态约束，再用彩色与深度图像（RGB-D）把二维线索还原成三维目标几何与候选抓取姿态。规划时联合选择抓取与完整轨迹：例如放瓶子时保持直立，但允许绕瓶身轴旋转，为满足关节限制留出余地。

作者在Panda机械臂上测试六项操作任务。基线比较共享生成视频，并统一提供可行抓取配置、跳过抓取生成与选择；V2-STRep成功25/30次，NovaFlow和Dream2Flow分别为12/30和8/30。另一组跨场景测试启用自身抓取流程，成功29/30次，但前提是源技能已成功获取，不能视为端到端成功率。更改指令后的复用仅有三个定性案例，且要求兼容原有目标几何类型和动作阶段结构。

动作捕捉或动作生成器给出参考轨迹，强化学习（RL）跟踪策略转成关节指令；运行时安全滤波器（如控制屏障函数 CBF，把安全约束写成对控制输入的不等式）修正跟踪器输出，应对训练时没有出现的障碍。这两层常被当成可独立设计的组件：滤波改变了实际执行的动作和状态分布，而跟踪策略是在无滤波闭环下训练的。

作者把接口不匹配拆成三类：动力学不匹配、目标不匹配（手留在障碍外会产生跟踪误差，反而鼓励策略继续前伸）、信息不匹配（约束生效前策略看不到约束）。据此提出 CoFiT（约束滤波感知微调）：在滤波器全程开启的状态下微调预训练跟踪器，输入动作空间的约束信息与修正历史反馈，并加入修正量、原始条件违反、松弛量三项惩罚。

仿真中相对只做滤波微调的基线，违规时间在 TWIST2 上降 91%、SONIC 上降 21%。真机上用 Unitree G1 做伸手够篮球的受限任务（滤波器 50 Hz 运行），TWIST2 上违规时间相对继续无滤波训练降低 83%；基线十次里有五次需要操作员急停，CoFiT 十次全部无急停完成。

代价是精度：换用 SONIC 跟踪器后，违规时间只从 7.64% 降到 5.24%，世界坐标跟踪误差却从 5.45 cm 升到 12.17 cm。

作者指出，联合视频—动作模型常采用计算较重的固定时域骨干，难以兼顾流式推理与稳定的长时程开环生成；联合训练还可能产生看似合理、却对动作响应较弱的未来。论文提出FLEX-WAM，统一动作生成与动作后果预测。

其块因果注意力在块内双向交互、跨块保持因果性，结合轴向注意力、KV缓存和分块扩散强制，无需重训即可在部署时调整延迟与吞吐量。训练先学习纯世界模型，再转向联合训练；通过平衡状态与动作损失的梯度，并以前向动力学弹性反馈调节世界模型模式采样，维护动作响应性。

作者展示了1024步联合状态—动作生成样例，所示轨迹保持视觉连贯。模型在蒙特卡洛树搜索中同时提出动作并模拟结果；OGBench视觉谜题4×4五项任务合计成功率为80%，但成功仅指想象终态达标，并非真实执行成功率。OpenArm初步部署利用预测与实际观测的差异识别纠错样本；利用这些样本持续改进仍属后续工作。上述结果来自作者论文，不应视为独立复现或通用能力证明。

自动驾驶策略要做闭环验证，需要一个“策略动作会改变下一帧画面”、还能同步给出多路相机与激光雷达的仿真环境。NVIDIA 在 Hugging Face 发布的 Cosmos3-Nano-Sim-Auto 官方定位是实时闭环驾驶仿真器：以文字提示加 WSM（World Scenario Map，世界场景图）控制为条件，生成时空同步的多视角相机视频与激光雷达观测；WSM 控制由渲染器把策略的规划轨迹或人工方向盘输入转换而来。

模型由 Cosmos3-Nano 两阶段得到：先用含激光雷达的多传感器驾驶数据后训练成 Transfer-Auto，再做因果蒸馏成少步模型，以小块潜帧逐块生成，靠缓存历史维持跨块的时间上下文，使后续观测反映更新后的驾驶输入；相机与激光雷达联合生成。可训练参数 16B，最多支持 11 路标准与鱼眼相机，激光雷达与相机对齐并转成 3D 点云；实测激光雷达条件下只支持一次初始扫描。

厂商自报的多视角 RGB 评测（720p、7 路相机、297 帧、4 步去噪、guidance 1；对照基线用 guidance 3 且提示词不同）中，文本生视频设定下帧级 FID（Fréchet Inception Distance，比较生成与参考的帧特征分布）为 48.6，FVD（Fréchet Video Distance，比较视频特征分布）I3D 为 480、StyleGAN-V 为 479，优于对照的 61.9、772、770；但 DOVER 视频技术质量 7.30 低于对照的 8.56。

吞吐数字基于 vLLM-Omni、4 步去噪且不带 CFG、生成 201 帧：不含激光雷达时 GB200 上 1 路 720p 为 10 fps、7 路 720p 为 1.3 fps、11 路 720p 为 0.74 fps，H20 上 11 路 720p 仅 0.1 fps；含激光雷达时 GB200 7 路 720p 为 1.1 fps、11 路 720p 为 0.65 fps。按这组自报数字，“实时”只在低路数、低分辨率下接近。

让机器人参与多人社交，说的话和身体动作要在语义上对齐；现有做法多把预生成语音直接映射成连续动作轨迹，既缺乏对复杂社交环境的感知，也没有显式的高层语义动作规划。SocialCoAct 把第一视角（egocentric，机器人自身摄像头视角）社交协同行为定义成端到端的智能体任务：其 SocialCoAct-Agent 每轮把第一视角观测与对话历史交给视觉语言模型（VLM，能看图也能读文本的模型），输出语言回应以及与话语片段对齐的原子动作序列；模型输出的关节量不直接执行，先过白名单校验再映射为关节轨迹。

配套基准 SocialCoAct-Bench 取自 EasyCom、EgoCom 两个公开第一视角数据集，含 423 道人工校验的四选一题，分为长片段理解（LEU）、说话者意图理解（SIU）、协同动作规划（CAP），难度为易 189、中 148、难 86。

评测上，Claude-Sonnet-5 与 Qwen3.8-Max 总分并列最高 77.54%，难子集最高仅 46.51%。开启扩展思考（先长推理再作答）后，Qwen3-VL-2B 从 39.48% 升至 59.10%、Qwen3-VL-4B 从 56.03% 升至 73.05%，代价是吞吐由 1.60 与 1.51 降到 0.030 与 0.075 样本/秒，慢约 53.6 倍与 20.2 倍。加视觉帧在 CAP 上并不可靠：EgoMind-7B 涨 8.79 个百分点，InternVL2.5-2B 反而降 4.18 个百分点。

部署侧用两块 RTX 5090 跑 Whisper-Tiny、Qwen3-VL-8B、Qwen3-TTS 与 Unitree G1，十次试验均产出语言回应和可执行手势，仿真端到端时延中位数 12.63 秒，真机处理时延 7.57 秒。