李飞飞署名具身新论文：Sim2Real烧不起，Real2Sim量大管饱

henry 发自 凹非寺 | 量子位 公众号 QbitAI

当业界还在热议 Sim2Real（仿真到现实）时，李飞论文m量具身智能领域的飞署风向标已悄然转向 Real2Sim（现实到仿真）。

近日，名具英伟达 GEAR 联合 李飞飞（Fei-Fei Li）团队、身新l烧佐治亚理工学院等顶尖机构，不起饱共同发布了全新的大管 Real2Sim 系统——SimFoundry。

SimFoundry 的李飞论文m量核心突破在于：仅需输入一段真实世界的视频，即可自动生成具备交互能力、飞署可用于训练与评测的名具机器人仿真环境。

这不仅仅是身新l烧高精度的 3D 场景重建。SimFoundry 能在保持物体功能（Function）和可供性（Affordance）不变的不起饱前提下，自动替换物体、大管重构场景布局，李飞论文m量甚至衍生出全新的飞署操作任务。这意味着，名具一段真实视频不再只能映射为单一的仿真场景，而是能自动扩展出一个 近乎无限的数据生成空间。

凭借这一特性，SimFoundry 不仅能在仿真环境中高效训练机器人，还能以高置信度预测不同策略在现实世界中的表现。

更令人瞩目的是，基于 SimFoundry 生成数据训练出的策略，能够 零样本（Zero-shot）部署到真实机器人上，在多步操作、双臂协作、带关节物体操作等复杂任务中，成功实现从虚拟到现实的迁移。

这一技术奇迹是如何实现的？

一段视频，构建无限训练空间

SimFoundry 的核心贡献，在于打通了 场景生成、数据生成、策略评测、策略训练的全链路 Real-to-Sim 闭环。

长期以来，机器人策略训练高度依赖真实世界数据。然而，真机数据采集不仅成本高昂、耗时漫长，且极难规模化。即便模型训练完成，实机测试也受限于场景单一和高昂的试错成本。

因此，研究人员逐渐将 仿真（Simulation）视为一种可扩展的替代方案。借助自动化数据生成技术，以极低的人力成本合成大量多样、高质量的训练数据，成为提升机器人现实泛化能力的关键。

同时，越来越多的研究证实：只要仿真环境足够逼真，其评测结果与真实机器人的表现具有高度一致性。

但新的痛点随之而来：虽然仿真能提供无限数据，但搭建具备真实几何、物理属性和交互能力的仿真环境，仍需大量人工建模。

于是，Real-to-Sim成为具身智能领域的热门方向。其核心逻辑是利用 3D 重建和生成模型，将真实世界快速转换为支持物理交互的 Sim-ready（仿真就绪）环境，从而大幅降低人工搭建成本。

然而，现有方案往往存在短板：有的擅长 3D 重建却无法生成训练数据；有的能进行策略评测，却依赖大量人工配置，难以扩展至丰富场景。

SimFoundry 的创新之处在于，它将场景构建、数据生成、策略评测和训练串联成一条完整的自动化流水线。系统主要完成三项任务：

1. 自动重建可交互、可仿真的数字孪生（Digital Twin）；
2. 自动扩展物体、场景和任务三个层面的“数字表亲”（Digital Cousins），持续生成训练数据；
3. 利用这些仿真环境同步完成策略评测与训练，形成从真实世界到仿真、再回归真实世界的完整闭环。

概念解析：
* 数字孪生（Digital Twin）：对真实场景的精确复刻。
* 数字表亲（Digital Cousins）：保持场景功能和交互方式不变，但对物体、布局或任务进行合理变异生成的衍生场景。

为实现这一目标，SimFoundry 设计了一套三阶段 Pipeline。

三阶段 Pipeline：从理解到创造

SimFoundry 的流程可概括为：Extraction（提取）→ Generation（生成）→ Augmentation（增强）。

简而言之，即 先理解真实世界，再搭建数字世界，最后批量创造新的数字世界。

第一步：Extraction（提取）—— 深度解析真实场景

系统输入一段普通 RGB 视频后，首先利用深度估计恢复三维点云，随后结合视觉语言模型（VLM）和 SAM 3 等分割模型，对场景中的物体进行逐个识别与分割。

每提取一个物体，系统便利用图像修复（Inpainting）将其从画面中移除，继续解析剩余目标，直至完成整个场景的结构化解析。

第二步：Generation（生成）—— 构建数字孪生

针对提取出的每个物体，SimFoundry 利用 2D-to-3D 模型生成三维网格，并结合 FoundationPose 等模型恢复其真实位姿。对于抽屉、柜门等关节物体，系统还能自动推导其关节结构。

同时，系统自动补充质量、摩擦力等物理属性，生成碰撞模型并修复穿模问题，最终导出可直接运行于 IsaacLab 等物理引擎中的仿真场景，完成 Digital Twin（数字孪生）的构建。

第三步：Augmentation（增强）—— 创造数字表亲

这是 SimFoundry 最核心的创新环节。

在数字孪生基础上，系统自动生成 Digital Cousins（数字表亲），主要从三个维度进行扩展：

1. Object Cousins（物体表亲）：改变物体外观和几何形态，但保持其功能不变；
2. Scene Cousins（场景表亲）：调整物体布局或引入新物体，生成多样化的新场景；
3. Task Cousins（任务表亲）：根据场景中的物体及其 Affordance（可供性），自动推导新的机器人操作任务。

换言之，一段真实视频不仅能重建一个数字孪生，还能自动衍生出大量保持相同行为语义的新物体、新场景和新任务，为机器人提供近乎无限的训练数据。

实验验证：仿真即现实

为验证 SimFoundry 替代真实世界进行机器人训练和评估的能力，研究团队在两套机器人平台、7 类典型操作任务上进行了实验，重点验证了 Real-to-Sim 策略评估和 Sim-to-Real 策略训练两项核心能力。

1. 策略评估：高度一致

实验结果显示，SimFoundry 中机器人的表现与真实世界高度一致：
* 平均皮尔逊相关系数达到 0.911
* 平均最大排名违例（MMRV）仅为 0.018

相比此前最先进的评测框架 PolaRiS，SimFoundry 取得了显著进步。

这意味着，研究人员可以在仿真中准确预测策略在真实机器人上的表现，无需反复进行昂贵且低效的实机测试。

2. 策略训练：数字表亲的威力

更大的亮点来自 Digital Cousins的贡献。

研究发现，相比仅使用数字孪生进行训练，引入 Object、Scene 和 Task Cousins 后，机器人在真实世界中的平均任务成功率分别提升了 17%、21%和 40%。

此外，仅利用 SimFoundry 自动生成的数据训练出的策略，即可实现 零样本部署到真实机器人，在多个操作任务上取得接近满分的成功率。

作者介绍

SimFoundry 的作者阵容堪称豪华，汇聚了 NVIDIA GEAR、佐治亚理工学院、斯坦福大学、UT Austin 和多伦多大学等机构的核心研究者。

• 第一作者：Nadun Ranawaka Arachchige（佐治亚理工学院，目前在 NVIDIA GEAR 实习，师从徐丹飞）；
• 李飞飞团队：Josiah Wong、Jiangyun Fan 等人；
• 其他核心成员：Tianyuan Dai（朱玉可课题组，曾于李飞飞团队学习）、Masoud Moghani（NVIDIA GEAR 与多伦多大学联合培养博士）、Hang Yin（曾参与 BEHAVIOR 项目，现加入 OpenAI）；
• 资深作者：Jim Fan、李飞飞、徐丹飞、朱玉可、Ajay Mandlekar、Ruohan Zhang、Wenbowen 等机器人领域知名学者。

参考文献：

[1] https://arxiv.org/pdf/2606.28276v1
[2] https://research.nvidia.com/labs/gear/simfoundry/

(责任编辑：知识)