跳至正文
主题

通用基础模型

LLM、VLM、多模态、推理、工具使用、智能体

Jason · 更新 2026-10-10 · 持续维护

通用模型与具身模型

两者有继承、组合与联合训练关系。需要逐个比较输入输出、训练目标、数据和部署位置。

问题 通用 LLM/VLM 的典型位置 具身模型/策略的典型位置
主要输出 文本、语义表示、计划、工具调用;部分统一模型也能生成其他模态 动作、轨迹、技能参数、空间预测或具身推理结果
训练信号 大规模文本、图像、视频等,辅以后训练 机器人状态—动作、交互结果、演示、奖励,通常也利用通用数据
机器人用途 指令理解、场景推理、计划、交互、数据辅助标注 操作、导航、运动策略、接触行为、闭环执行
关键难点 物理约束、幻觉、时延、工具执行可靠性 本体差异、数据效率、泛化、动作稳定性、闭环安全

“具身模型”也可能主要输出语义推理,不一定直接控制电机;“通用模型”也可能经过适配产生动作。分类以实际接口和训练证据为准。

VLA 是一类视觉—语言—动作建模方式;VLN 主要描述视觉语言导航任务及相应方法。两者不是简单的同级竞争路线,一个系统可以同时使用二者。