刚刚，首个空间原生的具身视觉基模开源！机器人更会看真实世界了

金磊 发自 凹非寺 | 量子位 公众号 QbitAI

这一次，刚刚机器人对真实世界的首个身视实世理解能力迈出了关键一步。

看得有多准？空间

效果直接见真章：

视频地址： https://mp.weixin.qq.com/s/z1iVG8ZKv3Rj8TOMB6eezQ

对比视频可见：
* 左侧：真实世界画面。
* 中间：未经算法优化的原生源机原始深度图。杯体轮廓破碎，觉基界杯壁与背景粘连，模开香槟塔出现大量空洞，器人几乎无法辨识结构。刚刚
* 右侧：新模型输出。首个身视实世杯体边界、空间层级及整体结构完整，原生源机顶部酒杯、觉基界酒瓶与杯塔的模开空间关系清晰，甚至细微的器人透明水柱也清晰可辨。

有人或许会问：“看得差不多不就行了？刚刚”

大错特错。

在具身智能领域，这种“差不多”的差异是致命的：
* 抓取任务：边界识别不准，机械臂极易抓偏或打翻物体。
* 移动导航：深度结果破碎，会导致后续的路径规划与控制出现抖动甚至碰撞。

这正是蚂蚁灵波（Robbyant）发布 LingBot-Vision和 LingBot-Depth2.0的核心动机：

• LingBot-Vision：面向机器人真实任务的空间原生视觉基模，旨在为机器人构建懂物理世界的视觉底座。
• LingBot-Depth 2.0：基于 LingBot-Vision 构建的空间感知模型，将视觉底座转化为更稳定、高精度的深度结果。

这一成果迅速引发业界关注，网友评价其为“攻克玻璃与透明物体视觉难题的重要里程碑”。

核心观点：对于具身视觉而言，“看得见”只是起点，“看得准”才是行动的前提。

机器人视觉的四大“拦路虎”

尽管具身智能热度高涨，但在真实场景中，视觉感知的稳定性仍是最大瓶颈。LingBot-Depth 2.0 主要解决了以下四类传统难题：

1. 透明与反光材质（如香槟塔案例）

透明杯壁在RGB图像中可见，但深度传感器和传统模型往往在此失效：补全失败、边缘粘连或区域空洞。

LingBot-Depth 2.0 为机器人补全了稳定的空间骨架，保持杯口、杯壁与杯身间的几何关系。这对抓取至关重要——机械臂不仅需要识别“这是杯子”，还需明确边界、开口方向、可接近点以及避免碰撞邻近物体。

视频地址： https://mp.weixin.qq.com/s/z1iVG8ZKv3Rj8TOMB6eezQ

2. 小目标与远距离目标

以户外追逐网球的狗狗为例，远处的狗和微小的网球在原始深度图（Raw Depth）中糊成一团，主体难辨。

视频地址： https://mp.weixin.qq.com/s/z1iVG8ZKv3Rj8TOMB6eezQ

LingBot-Depth 2.0 清晰呈现了地面、远墙、网球、树木与狗的空间关系。这对移动机器人、巡检机器人及人形机器人价值巨大：
* 提前预判：在障碍物贴脸前识别远处的人、宠物或货架边缘。
* 稳定导航：避免深度波动导致的误判（以为无物 vs 突然遇障），减少动作迟疑与危险。

3. 室内复杂场景

家庭环境中的玻璃门、窗帘、电视柜及动态光照，常导致视觉模型在强光、阴影及边缘交界处出现破碎和空洞。

视频地址： https://mp.weixin.qq.com/s/z1iVG8ZKv3Rj8TOMB6eezQ

LingBot-Depth 2.0 输出更连续，完整保留了墙面、玻璃门、窗帘、地面及近处物体的空间层次。这对于需要在杂乱环境中执行送水、取物、避障任务的家庭服务机器人至关重要。

4. 弱光、遮挡与杂乱环境

在结构交错的室内走廊中，传统模型易在边缘产生噪点和缺口。

视频地址： https://mp.weixin.qq.com/s/z1iVG8ZKv3Rj8TOMB6eezQ

LingBot-Depth 2.0 结果更稳定，墙面、门框及桌面边缘更加连续。

总结：这些案例指向同一核心——机器人不能仅靠语义理解，更需要空间常识（边界、空洞、通行区域、距离感）。LingBot-Depth 2.0 实现了：边缘更清晰、轮廓更完整、细小/远距离目标更稳定、复杂材质/光照下破碎缺失更少。

视频地址： https://mp.weixin.qq.com/s/z1iVG8ZKv3Rj8TOMB6eezQ

技术揭秘：为何从“边界”入手？

传统视觉基础模型侧重于图像内容理解，但机器人眼中的世界不同：猫不仅是“猫”，更是具有距离、边界、运动趋势及周围安全距离的几何实体。

因此，具身视觉底座必须重视几何结构，而边界是理解几何结构的关键入口。

• 边界的多重含义：深度突变、遮挡关系、空间分割、可交互区域。
• 影响：杯口、门框、桌沿、人背分界直接影响移动、避障和抓取。

LingBot-Vision 的核心创新：Masked Boundary Modeling

团队提出了一种针对性的自监督训练方式，让模型专门攻克难点。

• 传统 Mask Modeling：随机遮盖图像块（如墙面、天空），模型易猜对但难学空间结构。
• LingBot-Vision 做法：
• Teacher-Student 机制：教师模型在线识别图像中的边界 Token。
• Boundary Forcing：强制将这些高信息量的边界 Token 加入学生模型的 Mask 中。
• 几何目标分配：模型不仅学习语义，还学习边界场（描述边界位置、方向及几何关系的信号）。
• 稳定性增强：引入分类化边界场表示及 a-contrario 检验，减少噪声误判。

简言之，LingBot-Vision 在预训练阶段即引导模型关注“边界在哪、形状如何、空间关系”，而非仅关注“这是什么”。这与 DINOv3 等通用模型形成关键差异。

虽然基于 DINO 自蒸馏范式，但 LingBot-Vision 额外引入 Boundary Forcing机制，强化对形状和边界的关注。

性能表现

• 模型规模：约 10 亿参数 ViT，纯自监督训练。
• 精度对比：在密集空间任务上匹敌或超越参数量大 7 倍的视觉基础模型。
• 权威榜单：在 NYU-Depth v2 上取得最佳精度，包括超越 7B 参数的 DINOv3。

轻量化优势显著：
* 0.3B 学生模型在 NYU-Depth v2 上精度与 7B DINOv3 相当，参数量减少约 23 倍。
* 现实意义：大幅降低端侧部署的算力成本与延迟，更适合机器人硬件限制。

LingBot-Depth 2.0 是该技术路线的直接验证，在 12 个深度补全 Benchmark 上取得领先。随着下游数据增加，LingBot-Vision 编码器带来的优势将进一步扩大。

二者关系：
* LingBot-Vision：空间原生视觉底座（重边界与几何）。
* LingBot-Depth 2.0：空间感知落地验证（解决透明、反光、远距离等痛点）。

具身智能落地：视觉感知是基石

大模型赋予机器人听懂指令和规划任务的能力，但在工厂、仓库、商场及家庭中，视觉感知的稳定性直接决定后续链条的有效性：
* 移动机器人能否避开障碍？
* 机械臂能否精准抓取？
* 服务机器人能否正确识别门、墙、玻璃与人？

此次蚂蚁灵波开源 LingBot-Vision 和 LingBot-Depth 2.0，旨在降低使用门槛，加速下游团队在移动、避障、抓取等真实任务中的验证。

应用场景：
移动机器人、机械臂、仓储物流、工业巡检、服务机器人、人形机器人、3D 视觉设备及空间计算。

产业合作：
LingBot-Depth 2.0 已通过奥比中光深度视觉实验室认证。双方围绕 EGO-RGBD 数采设备、SDK 及一体化相机产品展开合作，推动技术从论文走向硬件集成。

当然，传感器差异、算力限制、场景泛化及控制精度仍需打磨。但趋势已明：具身智能的竞争正深入底层。

机器人进入真实世界的第一步，就是看准。当机器人更好地理解空间，具身智能离真正上岗便更近一步。

资源链接：

• 模型权重：
• HuggingFace: https://huggingface.co/collections/robbyant/lingbot-vision
• ModelScope: https://www.modelscope.cn/collections/Robbyant/LingBot-Vision
• 代码仓库： https://github.com/robbyant/lingbot-vision
• 技术报告： https://arxiv.org/abs/2607.05247
• 项目主页： https://technology.robbyant.com/lingbot-vision

(责任编辑：综合)