预测到规划未来：WLA统一了世界建模、语言推理与动作生成

视频链接：https://mp.weixin.qq.com/s/l8mjkkDHKeDqEFEdwJpuPA

当前，预测语世界-动作模型（World-Action Model,到规动作 WAM）正成为具身智能领域的关键研究方向。WAM 的统推理核心在于将世界建模与动作预测深度融合：机器人不仅能基于当前观测生成控制指令，还能预演未来状态或视觉画面，世界生成从而在行动前评估潜在结果。建模这种机制有助于模型内化物理规律及动作后果，预测语但也引发了新的到规动作技术挑战。

首先，统推理图像预测往往涉及大量与任务无关的世界生成细节重建（如背景纹理、光照变化等）。建模这些冗余信息对动作生成贡献有限，预测语却显著增加了模型的到规动作学习负担。其次，统推理计算开销巨大，世界生成若推理阶段需显式生成图像或视频，建模将引入额外延迟，阻碍机器人的实时闭环控制。

更为关键的是，现有 WAM 多依赖像素级视觉预测，缺乏足够的语义表达能力，难以充分传达任务意图、因果关系及长期规划逻辑。

图 1：WAM 的局限性：细节重建负担、推理延迟与语义缺失

针对上述痛点，上海交通大学 DENG Lab 提出了世界-语言-动作模型（World-Language-Action Model, WLA）。该框架将世界建模、语言推理与机器人动作生成统一于同一架构中。WLA 对未来状态的预测超越了单纯的“画面生成”，转而同时建模两类核心信息：粗粒度的文本意图与细粒度的物理动态。

• 文本意图：利用自然语言描述未来状态与任务目标，为机器人提供简洁且可解释的语义表示。它能有效过滤无关视觉细节，使模型聚焦任务核心，并支持目标分解、记忆组织、逻辑推理及长期规划。
• 物理动态：刻画动作对环境状态的影响，描述物体位姿、接触关系及运动趋势等细粒度变化。它连接高层任务意图与底层动作控制，使机器人不仅知晓“要做什么”，更能预判“这样做会产生什么结果”。

在部署阶段，WLA 仅激活 2B 参数，却在仿真与真实机器人实验中全面超越多种主流 WAM/VLA 基线。在长时程、强记忆依赖的 RMBench 基准上，WLA 取得了 56.5%的成功率，接近次优方法的两倍。更重要的是，经系统级推理优化后，WLA 的单次推理延迟降至 40ms，完全胜任动态场景下的实时机器人控制。此外，WLA 展现出直接从跨本体、无动作标注的机器人视频中学习新任务的潜力，为降低数据采集成本提供了全新路径。

代码与模型权重均已完全开源：

• 论文标题：World-Language-Action Model for Unified World Modeling, Language Reasoning, and Action Synthesis
• 论文地址：https://arxiv.org/abs/2606.05979
• 代码地址：https://github.com/SJTU-DENG-Lab/WLA
• 模型仓库：https://huggingface.co/collections/SJTU-DENG-Lab/wla

文本意图：明确进度，规划下一步

不同于采用双向 DiT 的 WAM，WLA 以自回归 Transformer为骨干网络，并由预训练视觉-语言模型（VLM）初始化。这一设计使模型天然继承 VLM 的语言理解、序列生成及上下文管理能力，摆脱了像素级预测的局限。

在长时程任务中，高层指令通常只给出最终目标，而未指定具体步骤。为此，WLA 将高层意图拆解为文本子任务：模型预测未来动作窗口对应的子任务序列，并维护一个记忆缓冲区以记录已完成步骤。推理时，模型先自回归生成当前应执行的子任务，再据此生成动作；执行后的子任务被写入记忆，作为后续决策的上下文。

由此，WLA 实现了从“看一帧、做一步”到“持续判断任务进度”的跨越：明确哪些步骤已完成、当前该做什么、下一步如何推进。这种文本意图建模为长时程、强记忆依赖的机器人操作提供了清晰、可解释的高层语义支撑。

视频链接：https://mp.weixin.qq.com/s/l8mjkkDHKeDqEFEdwJpuPA

视频 1：WLA 具备推理、规划和记忆能力，能够处理长时程任务

物理动态：量化动作对环境的改变

为使自回归主干具备物理动态建模能力，WLA 引入了“世界专家”及一组 meta-queries。模型将 meta-queries 追加至输入序列末尾，通过因果注意力聚合上下文信息，形成对环境变化的紧凑表征。

训练阶段，“世界专家”以当前视觉状态和 meta-queries 的隐藏表示为条件，预测未来视觉状态。由于该预测目标要求模型捕捉动作序列引发的环境变化，这些隐藏表示被约束为一种潜在动作表征：它们不负责重建底层细节，而是集中编码核心物理动态。同时，这些潜在动作表征作为条件输入，引导“动作专家”生成可执行的机器人动作。

图 3: WLA 的架构设计

因此，WLA 在推理时无需显式生成未来图像。世界建模信号已在训练阶段通过共享主干和 meta-queries 注入动作生成过程，推理时可关闭“世界专家”，直接生成机器人动作。这种机制既保留了世界建模带来的物理先验，又避免了传统 WAM “先想象、再执行”范式带来的额外延迟。经系统级优化后，WLA 单次推理延迟降至 40 ms，适用于动态场景下的实时控制。

视频链接：https://mp.weixin.qq.com/s/l8mjkkDHKeDqEFEdwJpuPA

视频 2：WLA 的推理延迟显著低于传统 WAM 方法

实验结果：仿真与真机全面验证

在 RoboTwin 2.0 和 LIBERO 仿真基准上，WLA-0在仅激活 2B 参数且未进行具身预训练的情况下，取得了极具竞争力的结果。

跨具身迁移：从无标注视频中学习新任务

最后，实验考察了 WLA 从无动作标注视频中学习未见任务的能力。作者将 RoboTwin 的 50 个任务划分为 45 个 Seen 任务和 5 个 Unseen 任务，并设置四组对比实验：
1. Seen-Action baseline：仅使用 Seen 任务动作监督
2. Seen-Action+Video：加入 Seen 视频监督
3. +Unseen Same-Emb. Video：加入 Unseen 同本体视频
4. +Unseen Cross-Emb. Video：加入 Unseen 跨本体视频

结果显示，仅加入 Seen 任务视频监督收益甚微，平均 Clean/Rand. 成功率从 13.0/11.6 变为 11.8/12.6；加入 Unseen 同本体视频后，成功率提升至 34.4/30.0；加入 Unseen 跨本体视频后，仍达到 28.8/27.4。以 Beat Block Hammer任务为例，Baseline 几乎完全失败，而引入 Unseen 任务视频监督后，模型学会了抓取锤子并尝试敲击目标，充分展现了跨本体迁移的潜力。

视频链接：https://mp.weixin.qq.com/s/l8mjkkDHKeDqEFEdwJpuPA

(责任编辑：百科)