仿真与 Sim2Real｜具身图谱

仿真是可控的交互环境；Sim2Real 检验其中学到的能力能否进入真实设备，真机经验也可反向校正环境。

用途	产物	成立条件
并行交互训练	状态、动作、奖励和失败轨迹	动力学/传感误差与迁移验证
示范与视觉生成	轨迹、标签、外观变化	可执行性与真实任务收益
评测与回归	可复用任务、扰动和失败案例	固定协议及仿真—真机相关性

当前判断 · 2026-10-10 核查

接触不是仿真是否有用的二分线。 Playground 的手内旋转有真实迁移，也有卡块和机构柔性互锁；RoboTwin 的混合数据改善部分条件却有单项退步。模型误差、观测、控制时序和重置条件决定适用范围，不设统一仿真数据占比。运动与接触 · 操作对照

Isaac Lab 3.0 EA 的统一任务 API、多后端和 kit-less 是工具能力，组合依任务支持，不证明迁移成功。SIMPLER 的相关性也只覆盖匹配的评测设置；生成视觉样本、提供动作交互与替代真机评测需要不同证据。工具依据

历史观察

按发布时点排列，反映本站已收录范围，不代表完整研究时间线。

2026-10-31 · Hugging Face · 官方声明NVIDIA Cosmos3-Nano-Sim-Auto：用 Cosmos 做面向物理 AI 的交互式世界仿真
对自动驾驶与机器人软件开发者，这次的关键变化是闭环输入直接来自策略自身的规划轨迹，且相机与激光雷达是联合生成的（官方称用于支撑空间与时间一致性），因此多传感器感知栈与驾驶策略能在同一次 rollout（一次连续生成）里一起评估，而不是先出图再补点云。官方给出的推理硬件是 GB200、H100、H20 这类数据中心级 GPU，模型卡未提及嵌入式或车端部署，因此按现有公开信息，它更适合放在数据中心侧跑仿真生成数据，而不是直接装进机器人本体。
2026-10-29 · arXiv · 作者论文RAIBO-Wagon：四足机器人拖挂拖车的实时导航系统
对做本体软件和导航栈的工程师，用处在于它把“拖挂让组合体动力学变复杂、可行指令集很窄”这一工程难题，落成一套可在机载算力上跑的分层方案：用生成模型给采样式 MPC 提供可行的初始指令，再用学到的动力学模型做在线评估与迭代精炼。文中还给出可直接对照的部署量级（全机载算力、每周期 0.3 s、256 条候选），以及一个反面教训——为免拖车变成点云里的障碍物而做的感知屏蔽，会在急转弯处连真实障碍一起删掉；在该组试验里，由屏蔽造成的直接碰撞比局部规划误差更严重。
2026-10-28 · arXiv · 作者论文METATRON：面向人形机器人的可提示全身执行层
对机器人本体软件程序员，这是把"加新任务"从训练问题变成写提示与状态机代码的问题：同一份冻结权重靠改代码复用已学到的运动能力，技能规则还能交给编码智能体去分析动作数据、拟合与迭代。论文的分工也很清楚：执行层负责把粗略目标变成平衡与关节动作，"选目标、长时间规划"仍留在上层任务系统。
2026-10-26 · Hugging Face · 工程产物DiscoDemo 原始状态数据集（FMB-Round）：插销入孔任务的仿真状态轨迹开源发布
价值在于把"演示生成"和"轨迹使用"解耦：开发者不必重启 Isaac Sim 里的生成器，就能直接拿到状态级数据，对同一批演示做物体与末端执行器轨迹分析、多样性与覆盖度分析，并用代码仓库中 FR3 模型的前向运动学把 joint_pos 还原为末端位姿。原始状态又与已发布的 Stage2 生成数据按序对应，可与图像等模态对齐合并处理。对数据工程和策略训练团队来说，这是一个可按 apache-2.0 下载取用的公开数据产物，而不只是论文里的一句描述。
2026-10-25 · arXiv · 作者论文H2RBench：评估人类到机器人迁移的实到仿真基准
对机器人本体软件开发者，这是一套把“哪种人机迁移方法、人类视频给多少”放进同一套可重复仿真实验的协议，也提示了一份“哪些行为能迁移、哪些不能”的清单——人类视频主要改善高层空间意图类行为，接触密集的插入等任务甚至会变差；不同方法随人类数据量变化的曲线差异又说明，加数据的收益强烈依赖任务结构和该方法跨越形态差异的策略。
2026-10-25 · arXiv · 作者论文一次扫描就够：语言引导导航的无示范适配与真机验证
对机器人本体软件开发者，最实用的变化是把「进入一个新场地」的前置成本从逐场景遥操作采数据，换成一次扫描加一次人工标定：同一份重建几何在流程里承担三件事——生成训练回合、提供后训练用的效用信号、以及在动作被判不安全或进度倒退时由规划器接管。可照搬的是这条「扫描—标定—后训练」的分工与几何兜底思路，而不是他们的模型或数字；换用自家策略与本体仍需自行复现，本文数字是在作者自己的五个室内场景和自有机器人上、按 1.5 m 判定半径得到的。
2026-10-25 · Hugging Face · 官方声明Cosmos-H-Dreams：英伟达面向外科机器人的实时动作条件世界模型（模型卡已指向更新版本）
对接机器人本体或策略软件时，接口是明确的：给一帧上下文图像加一条 44 维动作流，服务每 12 个动作步回传 12 帧画面；人可以拿键盘或 Meta Quest 头显手动驱动，也可以让 GR00T-H 一类外科策略在同一个服务里闭环跑评测与演练。少步蒸馏、流式 KV 缓存与 CUDA Graph 捕获已被封装成公开的流式推理库，对其他动作条件世界模型如何改造成实时、可交互的仿真器有参考价值。但这些效果目前只有英伟达自述，落地前仍需在自己的场景、动作空间和硬件上实测。
2026-10-24 · arXiv · 作者论文MimicAll：面向跨人形机器人全身动作跟踪的结构化本体条件化
对做本体软件和全身控制策略的工程师，最值得借鉴的是把目标机体的结构、形态、动力学写成显式描述符，作为条件与观测一起送进共享策略，从而用一套参数覆盖多副身体；条件化方式可按目标取舍——论文里自注意力取得最低的全局位置误差，而简单拼接就足以改善动作完成率。工程上，参考库留在主机内存、只把活动的时间窗搬到 GPU，使显存占用不再随完整参考库增长，上千机体变体也能共用同一套训练流程。需要清醒认识的是：本文结论全部来自仿真，换到未见机器人家族会明显失效，真机与安全验证要自行补齐。

展开其余 33 条历史观察

2026-10-23 · arXiv · 作者论文ArtifactArena：用模型在物理世界里造出来的东西来评价模型
对做机器人本体软件的人，这是一条"模型造机器人 → 仿真对战 → 排名"的完整回路：模型交出的不是一段说明，而是一份能编译的 MJCF 结构和一段能运行的 Python 控制器，胜负由两台机器人的物理接触算出来，所以改外形、配重或策略会直接改写战绩，这与本体软件里做形态—控制取舍时的反馈回路是对应的，只不过这里的裁判是仿真物理。DLH 那种把模拟器源码、校验器和 shell 一起丢进沙箱让模型自己跑的做法，也对应大家熟悉的"跑仿真回归、让代理改控制器"的用法。评测与选型的人则可以把它当成问答榜单之外的一类观察点，但要注意分数只在 MuJoCo 这一套规则和对手集合里成立。产物与成绩全部出自论文作者自建的仿真竞技场，本文材料中没有第三方复现，应先按作者自报结果看待。
2026-10-22 · arXiv · 作者论文CENIC：面向接触的凸误差控制数值积分
对接触仿真开发者，价值在于把步长调参转为精度设定，并区分数值求解误差与建模误差；作者认为其更适合离线仿真。
2026-10-21 · arXiv · 作者论文看好脚下：面向人形机器人行走的预判式感知
对运动控制开发者，值得借鉴的是用预测落脚点筛选策略观察，而非把预测位置作为必须跟踪的落脚目标；作者实验表明，这种输入设计可减少达到指定地形难度所需的训练迭代。
2026-10-21 · NVIDIA · 官方声明NVIDIA 扩展 Isaac：衔接机器人训练、运行时与人形参考平台
工程关注点是数据、训练、运行时与参考本体之间的接口和工作流。公告可作为工具链选型与接入评估的线索，但不代表集成收益或机器人通用能力已经得到独立验证。
2026-10-21 · arXiv · 作者论文SimPT：用于干预式视觉—语言—动作模型后训练的自动化仿真框架
对策略开发者，价值在于把失败后的纠正数据采集与算法对比放进可控仿真流程；真机验证的是由此开发的训练改进，而非自动恢复机制直接部署到真机。
2026-10-21 · Hugging Face · 官方声明NVIDIA 上线 Cosmos3-Nano 的 LIBERO-10 动作策略单元 D2_s43（训练种子 43）：标准场景 93.3%，扰动场景 85.5%
这次变更是把“用生成模型改写演示数据”的收益评估，做成了可下载、可对照的公开权重：机器人本体软件工程师可直接加载这条 LIBERO-10（10 任务的操作基准）策略，在同一批初始状态上比较标准与扰动场景的成功率，并按模型卡要求配上重复样本对照，判断自己的数据流程里是否值得引入合成数据。复现成本也被写明：数据不随权重分发。该权重作为 nvidia/Cosmos3-Nano 的衍生物，按 NVIDIA 开放模型许可证发布。
2026-10-20 · GitHub · 工程产物Isaac Lab 3.0 正式版
对机器人软件开发者，价值主要在于按任务选择运行组件，并在受支持的后端间复用任务逻辑；这是工程接口与工作流调整，不是通用机器人能力的验证。
2026-10-19 · arXiv · 作者论文GRAIL：从世界模型生成人形机器人移动操作
对开发者的价值是提供一条从已知三维资产生成动作参考、转成机器人动作数据、再训练视觉策略的路线；作者将其定位为遥操作和动作捕捉的补充，而非替代。
2026-10-19 · arXiv · 作者论文Humanoid SRL：通过额外肢体增强人形机器人的协同行走与操作
对本体软件开发者，这项研究提供了额外机械臂与全身平衡统一控制、上层视觉规划与底层执行分离的设计参考，而非把第三臂当作独立机械手。
2026-10-17 · arXiv · 作者论文HydroShear：用于触觉仿真到现实强化学习的水弹性剪切仿真
对触觉控制开发者，这项工作提供了以接触历史和滑移建模改进仿真到真机迁移的路线；工程接入需同时考虑真实数据标定与底层接触模型。
2026-10-16 · arXiv · 作者论文全身灵巧性
将灵巧操作的学习对象从末端扩展到手臂—躯干之间的接触转换，为粗略遥操指令下维持物体支撑提供了一条技术路径。
2026-10-15 · arXiv · 作者论文迈向仿生视觉导航：面向微型飞行器的神经形态导航范式
这项作者论文把事件感知、脉冲决策和硬件执行接入真机导航闭环，为低推理能耗的微型飞行器导航提供了系统级可行性证据。
2026-10-15 · arXiv · 作者论文通过广义执行器网络实现肌肉驱动机器人的仿真到现实迁移
提供了一条无需力矩传感器、将复杂执行器学习与已有刚体仿真结合的策略训练路径；场景增删物体不必重新训练执行器网络。
2026-10-15 · arXiv · 作者论文舒适地困在原地：Bench2Drive 闭环协议中的评测陷阱
评测应区分模型决策与控制器代劳，并检查指标是否奖励停滞；已有逐帧日志可支持舒适度重算，但代码发布仍是作者承诺。
2026-10-10 · arXiv · 作者论文基于在线接触式几何估计的负载感知四足机器人导航
将负载几何估计与导航策略连接起来，并用循环记忆保留稀疏接触信息，为未知尺寸负载的导航适配提供了研究路径。
2026-10-09 · arXiv · 作者论文Reflex：视觉驱动的反应式人形机器人控制
这项作者研究展示了通过共享动力学潜表示、冻结控制器来学习视觉接箱的路径，价值在于解耦视觉学习与全身控制，而非证明通用人形技能。
2026-10-08 · arXiv · 作者论文鳗鱼仿生软体机器人的执行器控制与健康实时估计器（REACH）
为软体游泳机器人的执行器退化监测提供了模型驱动方案，并给出特定仿真条件下的传感器选型与布置依据。
2026-10-07 · arXiv · 作者论文成功的多种路径：面向VLA泛化的多样性驱动强化学习微调
这项作者研究将成功解法的多样性纳入显式优化目标，为改善所测分布偏移下的VLA泛化提供了一种训练思路；这里呈现的是作者实验结果，而非独立研究复现。
2026-10-07 · arXiv · 作者论文AeroEval：面向 AI 生成无人机任务的分阶段程序与执行验证
作者实验支持程序检查与执行证据的互补价值：前者排查结构、接口和意图错误，后者识别与轨迹及环境交互有关的行为违规。
2026-10-05 · arXiv · 作者论文面向端到端驾驶安全评估的可控、照片级真实行人危险动作生成
为端到端驾驶提供兼顾行人动作控制与视觉渲染的风险场景生成路径，可用于部署前安全测试。
2026-10-04 · arXiv · 作者论文通过基于采样的扰动观测器应对仿真到现实的失配：从解析模型到学习型世界模型
价值在于把扰动补偿接入滚动预测与代价查询接口，针对局部持续、与任务相关的失配进行修正，而非完整辨识仿真到现实差距。
2026-10-03 · arXiv · 作者论文CoDimRecon：通过智能体重建包含可变形曲线、曲面和体积的仿真就绪三维场景
把重建目标从外观与几何扩展到求解器兼容的柔性资产，并用行为测试连接视觉重建与下游仿真。
2026-10-03 · arXiv · 作者论文学习用于稳健动态机器人行走的低频运动控制
该研究为学习式运动控制提供一种设计参照：在底层稳定跟踪的条件下，可以考察降低策略更新频率，而非默认追求高频。
2026-10-01 · arXiv · 作者论文Recova：面向自主机器人操作的智能体引导失败恢复
这项作者研究展示了把失败恢复作为独立、可学习能力，并将人工干预转为后续训练数据的闭环路径。
2026-09-30 · arXiv · 作者论文无人机足球：学习利用多旋翼下洗气流进行操控
作者论文为将多旋翼下洗气流作为非接触操控手段提供了真机可行性证据，展示了简化动力学模型配合闭环学习控制的用途。
2026-09-29 · arXiv · 作者论文Guava：通过机器人操作工具框架将前沿视觉语言模型蒸馏为紧凑智能体
作者实验提示，共享工具接口与仿真交互经验可为紧凑操作智能体的本地部署提供路径；能力来自模型与工具系统的组合。
2026-09-29 · arXiv · 作者论文ContactExplorer：面向通用灵巧操作的接触覆盖引导探索
作者实验支持将状态条件化接触覆盖作为灵巧操作的探索组件；受限物体取回实验显示，它可减少对人工接触初始化的依赖。
2026-09-29 · arXiv · 作者论文SCOUT：通过动作结果反馈实现测试时策略适配
提供了一条通过共享信念潜变量，将动作结果预测误差转为部署时策略调整的路线，而不是直接微调策略网络权重。
2026-09-28 · arXiv · 作者论文估计，而非模仿：复用可微分的基于状态的策略实现视觉运动控制
作者实验支持将感知学习与既有控制器复用分开：状态估计不仅要接近真值，也可按其对下游动作的影响优化；收益及损失权重仍依赖任务。
2026-09-28 · arXiv · 作者论文ZeroBot：借助生成式 Real2Sim 在数分钟内从零学习
作者实验表明，生成几何不仅能用于搭建仿真，还能直接参与接触状态选择，加速特定任务的策略学习与仿真到真机迁移。
2026-09-26 · arXiv · 作者论文生成、跟踪、改进：利用强化学习微调运动生成器实现感知式多技能人形机器人运动
作者实验表明，生成器微调可调整技能选择与地形一致性，是跟踪器微调之外的补充改进环节；不据此推断通用运动能力。
2026-09-10 · arXiv · 作者论文CAP：通过学习式去噪实现感知—盲行连续自适应的人形机器人运动
这项作者研究展示了世界模型作为去噪感知模块、与本体感知持续协同的运动控制路径，而非依靠想象轨迹优化策略。
2026-09-06 · arXiv · 作者论文IM-ENGINE：用于具身数据生成的图像编辑
其价值在于把生成图像中的任务语义转成可验证的三维状态与轨迹，而不只将图像作为视觉目标；作者实验展示了这一路径用于抓取和关系约束型放置的可行性。

当前判断 · 2026-10-10 核查

历史观察

关联报告

来源与阅读