上海AI Lab最新综述：一文读懂世界模型！

“世界模型”（World Models）正迅速崛起为人工智能领域最炙手可热、上海述文世界却也最易被滥用的新综核心概念。

从视频生成的读懂爆发到具身智能机器人的突破，越来越多的模型前沿研究将“世界模型”视为关键基石。然而，上海述文世界关于其确切定义、新综预测目标及构建范式，读懂学术界尚未形成统一共识。模型

针对这一现状，上海述文世界上海人工智能实验室（Shanghai AI Lab）团队发布了一篇极具影响力的新综综述论文。该研究不仅对世界模型进行了严谨的读懂科学定义，系统梳理了当前的模型训练范式与关键技术瓶颈，更提出了一套构建高效世界模型的上海述文世界阶段性发展路线图。

论文链接：https://arxiv.org/abs/2607.06401

研究团队在文中强调，新综世界模型可能是读懂通向物理通用人工智能（Physical AGI）的关键路径。为此，他们提出了通往物理 AGI 的“三位一体”架构：
* Agent（智能体）：负责执行任务；
* Evaluator（评估器）：负责评估轨迹质量；
* World Model（世界模型）：吸收交互数据并生成新任务。

世界模型不再仅仅是预测未来的工具，它标志着 AI 从静态数据学习向主动交互与自我进化的范式转变。

图｜三位一体架构概览

世界模型的本质定义

研究团队指出，在有限计算资源的约束下，世界模型是对物理世界状态转移过程的压缩建模。一个通用的物理世界模型天然具备以下三大核心属性：

1. 全模态工作范围
   世界模型必须具备建模所有感知模态数据的能力。它不应局限于文本或视觉，本质上应是一种能够统一潜在表征的全模态基础模型。

2. 多维异步性
   世界模型必须能够处理多维且异步（即多频率）的序列数据，以应对现实世界中不同传感器和数据源的时序差异。

3. 局部性（Partial Observability）
   由于智能体的感知与计算资源有限，其收集的数据通常局限于局部区域，且该区域并非封闭系统，仍受外部环境持续影响。因此，局部化建模通常形式化为部分可观测马尔可夫决策过程（POMDP）。

图｜世界模型的本质及其主要特性示意图

功能视角：三大核心角色

从功能层面看，世界模型可解构为三个相互协作的模块，它们在 POMDP 的闭环决策过程中相互调用与更新：

• 渲染器（Renderer）：即观测生成模型，将场景、历史状态或动作序列转化为可感知结果（如图像或视频）。
• 模拟器（Simulator）：承载动态模型，预测世界状态的演化，并保持物理、几何及物体的一致性。
• 规划器（Planner）：基于预测结果评估反事实未来，选择并追求可控的最优结果。

图｜世界模型在 POMDP 循环中的功能角色

架构演进：从观测到全模态

现有世界模型架构主要可分为三类，整体趋势正指向全模态世界模型。

1. 观测级生成式世界模型

• 原理：直接生成未来像素、视频或体素，将世界建模视为高维观测合成。利用大规模视频数据学习外观、运动及场景动态。
• 局限：视觉逼真 $\neq$ 物理正确。此类模型在长时程预测中易破坏物体恒常性、接触关系、因果链条或场景一致性。
• 关键评估：不仅看画面真实感，更要看轨迹在动作、指令或场景条件下是否保持物理一致、因果连贯和可控。

2. 潜空间世界模型

• 原理：将高维观测压缩为紧凑状态，在潜空间中进行预测和规划（如 PlaNet、Dreamer）。通过“想象”未来轨迹，以较低计算成本处理长时程和部分可观测问题。
• 优势：保留几何、对象关系、可供性（Affordance）及接触动态等决策关键因素，而非重建像素细节。
• 风险：过度抽象可能导致丢失夹爪接触、细小障碍或物体姿态等关键线索。

3. 3D 增强与对象中心世界模型

• 原理：从帧预测推进至结构化场景理解。
• 3D 占据 & BEV：适合空间与障碍物推理。
• NeRF & 3D Gaussian：提供视角一致的几何状态。
• 对象中心方法：捕捉实体级动态与组合关系。
• 趋势：将空间、时间、对象和交互信息整合为共享物理表征。
• 挑战：引入 3D 结构不等于理解世界。模型仍需捕捉可供性、因果性、任务语义及长时程交互。强世界模型需保持几何一致、时间稳定、对象明确和物理合理，以服务于下游推理、规划与控制。

统一趋势：全模态世界模型

未来的统一模型需同时理解现在、想象未来、生成动作，并整合视觉、语言、空间、动作和物理信号。面向物理 AI，世界模型不能仅停留在“理解与预测”，必须能指导行动。

图｜二维分类框架：功能与架构

训练与学习范式：从经验到行动

世界模型的训练是一个从经验输入到可靠行动的闭环过程：

1. 经验与先验输入

• 自监督与生成式预训练：从未标注视觉数据中学习基础表征（视频预测、掩码自编码、Next-token 预测、扩散潜空间）。
• 具身交互：通过状态-动作-奖励数据补充动作与结果的关系，结合好奇心或内在奖励驱动探索。
• 合成与仿真数据：扩展长尾、危险及反事实场景的覆盖。
• 物理先验与约束：通过 PINNs、ODEs、守恒规律和接触可行性增强物理一致性。

2. 世界模型学习核心

模型将观测压缩为紧凑的信念状态，学习动作条件转移先以预测状态变化。在此基础上，估计奖励、价值和不确定性，在潜空间中展开想象轨迹，为规划和策略学习提供依据。

3. 决策与推理接口

• MBRL 循环：嵌入模型基强化学习（Model-Based RL）循环，利用动态模型进行规划或策略优化。
• 规划方法：在潜空间进行后台滚动，结合 MPC、CEM 或 MCTS 完成规划；或在模型内部学习策略（如 Dreamer 的 Actor-Critic，或 WAM 联合生成未来与动作）。
• 推理机制：支持反事实推理（比较不同动作结果）及长时程任务分解（借助子目标、技能和记忆机制）。

4. 可靠具身行动

针对真实具身行动中的模型偏差、Sim-to-Real 差距、累积误差和目标错配，模型需通过校准与自我改进循环持续修正，利用不确定性感知的数据采集，将内部预测与真实反馈对齐。

图｜世界模型主要训练与学习范式概览

发展路线图：迈向稳健的未来物理世界模型

研究团队提出，发展稳健的未来物理世界模型需经历三个渐进阶段：

第一阶段：构建统一多模态世界模型

整合图像、视频、3D 结构、状态、动作和语义推理等异步信号。通过渐进课程学习实现：先建立稳定图像语义，再引入视频、状态、动作和具身数据，利用紧凑潜在动作区分可控变化与背景外观。

第二阶段：学习统一物理表征

将多样模态蒸馏为高度压缩的内部状态，使渲染、仿真和规划都能从中解码下游任务所需信息。该表征需兼具物理 grounding、仿真就绪、几何自适应和紧凑性，并保留动态、接触、因果结构等决策相关信息。
* 现状：PhysGaussian 展示了早期方向，但如何学习可演化、持久且融合外观、物理与语义的紧凑状态，仍是核心挑战。

第三阶段：扩展为基础规模交互式模拟器

未来世界模型应成为闭环、可复用的环境，让 Agent 在真实执行前安全探索、评估和优化动作。这需要可控交互架构，融合力觉、触觉、接触和本体感受等物理 grounding 数据，并通过严格闭环验证，确保预测符合动作因果、长期稳定性和真实执行结果。

图｜下一代世界模型发展的阶段性路线图

不足与未来挑战

尽管前景广阔，目前世界模型在真实交互、安全约束和长时程控制中仍存在显著短板：

1. 数据不对称
   渲染器可依赖海量图像/视频，但模拟器和规划器亟需稀缺的结构化数据（仿真资产、机器人轨迹、触觉/力反馈）。未来需获取普遍、非侵入、连续的真实世界交互数据。

2. 感知保真度与物理精度不匹配
   视觉逼真不等于物理合理或可执行。未来模型需从追求画面真实感转向预测可行动结果，借助 3D 几何、接触、力、材料及闭环反馈持续校准。

3. 累积预测误差
   单步预测误差在长时程滚动中会递归放大，甚至被规划器利用生成不可执行的高价值轨迹。未来需降低单步误差，确保预测误差在决策时间尺度上有界、可校准、可控制。

4. Sim-to-Real 迁移差距
   仿真与真实物理间存在残差，尤其在接触丰富、部分可观测和高维动作场景中。需结合本体感受、触觉、力反馈和结构化机器人状态，利用物理归纳偏置、状态表征与推理时自适应校正来缩小差距。

5. 评估与基准缺失
   现有评估碎片化（视频模型重质量，控制任务重成功率，机器人重泛化/安全）。未来评估需覆盖因果一致性、动作可控性、长时程稳定性、物理 grounded、闭环执行和低延迟推理，并平衡可复现性与现实复杂度。

6. 安全、透明性与可持续性
   物理世界模型在部署中面临安全探索、风险评估、推理约束和不确定性控制等挑战。未来需处理人机对齐、环境反馈和多 Agent 协调，结合控制理论与形式化验证，提供可解释、可验证的稳定性保证。

更多技术细节，详见原论文。

作者：夏千斯

如需转载或投稿，请直接在本文章评论区内留言

(责任编辑：休闲)