复旦邱锡鹏团队提出「上下文世界建模」：无需微调，VLA即可适应新环境

视觉-语言-动作（VLA）模型在落地部署时面临显著瓶颈：一旦相机视角、复旦安装位姿或机器人本体形态发生微小变化，邱锡模型性能往往急剧下降。鹏团

传统的队提“上下文学习”（In-Context Learning, ICL）通常将上下文视为静态示范，依赖人工演示任务流程，出上机器人仅模仿动作而缺乏对系统底层运作逻辑的下文理解。当部署环境发生变更时，世界研究人员被迫重新收集数据并重新训练模型，建模A即这一过程耗时且成本高昂。无需微调

针对上述痛点，可适复旦大学邱锡鹏教授团队提出了“上下文世界建模”（In-Context World Modeling,应新 ICWM）。该方法的环境核心创新在于：在正式执行任务前，机器人先进行一段与任务无关的复旦随机主动探测，将探测过程中的邱锡交互反馈作为上下文输入模型，从而让模型自主推断当前系统的鹏团物理配置与运作机制。

论文链接：https://arxiv.org/abs/2606.26025

仿真与真实机器人实验数据证实，ICWM 的整体表现显著超越现有基线方法。该方法仅需极少量的随机探测数据，在无需额外示范且无需更新模型参数的前提下，即可实现对新环境的快速适应，并大幅提升了跨视角与跨配置的泛化能力。

ICWM 核心设计机制

与传统 VLA 模型直接映射指令到动作不同，ICWM 引入了“先感知配置，后生成动作”的两阶段逻辑。其具体流程涵盖训练与推理两个阶段：

1. 训练阶段：构建上下文感知能力

研究团队在每个任务样本前拼接一段与具体任务无关的交互片段作为上下文输入。模型通过分析交互过程中产生的画面变化，学习判断当前系统的配置状态。
* 架构简化：ICWM 并未引入独立的世界模型模块，而是直接复用 VLA 主干网络来处理这段交互历史。
* 优势：这种设计不仅简化了模型结构，还确保了交互信息能直接服务于后续的动作预测，避免了信息传递的损失。

2. 推理阶段：主动探测与自适应决策

在实际部署中，机器人不会立即执行目标任务，而是遵循以下步骤：
1. 主动探测（Active Probing）：执行一系列随机动作，记录动作前后的观测变化，构建交互上下文。
2. 综合推理：模型将当前观测到的上下文、视觉画面以及任务指令共同作为输入。
3. 动作生成：基于对系统配置的推断，模型生成接下来最合适的动作序列。

图｜ICWM 的训练与推理流程概览。

实验结果分析

研究团队在跨视角、真实机器人部署及多种分布外（OOD）扰动场景下进行了全面评估。结果表明，ICWM 借助交互上下文显著增强了对新环境的适应能力，并展现出向语义变化和机器人形态变化等复杂场景扩展的巨大潜力。

1. 仿真结果：LIBERO 基准测试

研究团队首先在 LIBERO 仿真基准上进行了严格的跨视角实验。

• 性能优势：ICWM 在已见视角和未见视角下均优于基线模型。相比仅依赖多视角训练的方法，ICWM 在已见视角下的成功率平均高出 8.1%，在未见视角下平均高出 13.0%。
• 泛化对比：即使将真实的相机参数直接输入模型，其泛化表现仍不及 ICWM。
• 长时序控制：在长时序任务中，ICWM 能更有效地控制累积误差，保持任务执行的稳定性。

图｜在 LIBERO 基准上，已见视角与未见视角的成功率（%）。

2. 真实机器人实验：UR5e 平台验证

在 UR5e 真实机器人平台上，ICWM 同样展现出显著优势。研究团队使用一套 12 相机的多视角系统进行评估，任务涵盖堆叠、抓取、拾取和放置等复杂操作。

• 视角鲁棒性：标准 VLA 模型对视角变化极为敏感。当从训练视角切换至测试视角时，其平均成功率从 68%暴跌至 17%；相比之下，ICWM 表现出极强的稳定性。
• 定性分析：可视化结果显示，在转换到新环境后，普通模型易出现位置偏移、夹爪过早闭合等错误，而 ICWM 的动作执行则更加稳健准确。

图｜在 UR5e 平台上的真实世界评测。

图｜定性对比。

3. 消融实验与深入分析

消融实验证实，ICWM 的性能提升源于对交互上下文的有效利用，而非简单的模式匹配。

• 信息依赖性：
• 移除图像信息：模型表现下降最剧烈，平均成功率从 25.0% 降至 10.9%。
• 移除动作信息或不提供交互上下文：模型表现均出现明显下滑。
• 错误上下文干扰：若提供一段错误的上下文，模型表现甚至劣于无上下文情况。
• 训练必要性：对照实验表明，模型必须经过专门训练才能利用交互上下文适应环境；若仅在测试时提供相同信息而未进行训练，性能几乎为零。

图｜交互上下文消融实验。

• 可视化洞察：t-SNE 可视化结果显示，模型已具备区分不同视角和配置的能力。相同视角下的数据分布更加集中，不同视角之间的特征区分度更高。

图｜不同分布外（OOD）视角下的 Ψ(T) 的 t-SNE 可视化。

• 探测策略无关性：研究发现，ICWM 的效果并不依赖于特定的探测方式。无论是随机探测，还是仅沿 XY、Z 轴或旋转方向运动，ICWM 均稳定优于对照方法，成功率提升幅度在 15% 至 27%之间。
• 形态与语义泛化：泛化实验显示，ICWM 对机器人形态变化具有较强适应性，在语义扰动场景下也实现了显著提升。

图｜分布外（OOD）视角下，不同探测策略的成功率（%）。

图｜对语义场景变化和机器人形态变化的鲁棒性。

局限性与未来方向

尽管 ICWM 显著提升了 VLA 在新环境中的适应能力，研究团队也客观指出了当前方法的局限性及未来改进方向：

1. 极端视角下的性能瓶颈：
2. 问题：在部分极端视角条件下，ICWM 的性能提升依然有限。
3. 原因：极端视角往往伴随严重遮挡，且操作目标在执行过程中易短暂移出相机视野。

4. 未来方向：未来需结合多视角感知、主动视角调整策略，并增强模型的遮挡建模能力。

5. 语义扰动的提升空间：

6. 问题：在语义扰动实验中，ICWM 的提升幅度相对较小。
7. 原因：当前训练数据中的场景语义和组合配置丰富度不足。
8. 未来方向：通过扩充场景语义更丰富、组合配置更多样的训练数据，有望进一步突破 ICWM 在语义扰动场景中的性能上限。

更多技术细节，详见原论文。

作者：夏千斯

如需转载或投稿，请直接在本文章评论区内留言

(责任编辑：综合)