李飞飞、Jim Fan、徐丹飞联手，给具身智能指了一条新路

2026年盛夏，李飞联手路机器人领域被一项近乎“黑色幽默”的丹飞实验结果彻底引爆。

由斯坦福大学教授李飞飞、身智英伟达具身智能负责人Jim Fan、条新佐治亚理工学院助理教授徐丹飞领衔，李飞联手路并联合Pieter Abbeel、丹飞Jitendra Malik、身智Ken Goldberg、条新Trevor Darrell等多位顶尖学者组成的李飞联手路“超级团队”，在一项消融对照实验中遭遇了一个令人费解的丹飞现象。

他们在行业经典模型π0.5上执行了一项看似理所当然的身智操作——将触觉信号作为额外信息输入模型。按照常规逻辑，条新增加一种感知模态理应提升精准度。李飞联手路然而结果却截然相反：据论文中的丹飞消融实验数据显示，任务成功率从17%暴跌至6%。身智

加了触觉，机器人反而“瘫痪”了。

这一反常现象如同一记响亮的耳光，打在了整个具身智能行业的脸上。过去几年，业界主流范式是将视觉、语言、触觉等所有感知信息统一转换为同一种格式，强行塞入同一个大模型，坚信“数据堆叠必然引发智能涌现”。而T-Rex论文用一组冰冷的数据证明：这条看似正确的路，可能从一开始就走偏了。

触觉为何成了“猪队友”？

问题根源何在？论文作者给出了一个简洁而有力的诊断：频率错配。

据论文及相关技术解读，视觉属于“慢感知”。摄像头以约每秒5帧的频率扫描世界，提供的是稳定的场景语义——明确物体位置与形态。相反，触觉属于“快感知”。当指尖接触物体的瞬间，压力、滑动、形变等信息以毫秒为单位剧烈变化，触觉反馈天然需要在每秒20次甚至更高的频率下才能有效发挥作用。

打个比方：这就像强迫一名长跑运动员（视觉）与一名短跑运动员（触觉）在同一条跑道上以相同配速奔跑。长跑运动员因节奏过快而窒息，短跑运动员因节奏过慢而憋屈。将这两种时间尺度截然不同的信号强行注入同一个低频运行的Transformer中，结果并非“1+1=2”，而是“1+1<1”——触觉的高频优势被彻底压制，反而扰乱了视觉已习得的表征。

换言之，触觉并非无用，而是用错了地方。

面对这一结构性矛盾，研究团队未选择在原有框架上修修补补，而是选择推倒重来。

他们提出了一套名为 T-Rex的全新框架。T-Rex既是“触觉反应式灵巧操作”（Tactile-Reactive Dexterous Manipulation）的缩写，也暗合“霸王龙”之意——尽管霸王龙前肢短小，但该论文旨在解决的核心问题，正是如何让灵巧手真正具备“感知”世界的能力。

T-Rex的核心思路可概括为一句话：别再让触觉和视觉争夺同一条算力通道，为触觉单独开辟一条独立的高速公路。

T-Rex架构：混合Transformer专家系统

具体如何实现？论文提出了一套 混合Transformer专家架构（Mixture-of-Transformers，MoT）。

• “混合”：将机器人的控制权拆解给三位各司其职的专家。
• “变速率”：让三位专家运行各自的时钟频率，互不干扰。

MoT中的“M”恰好同时代表了这两层含义。

三位专家的职责分工

1. 潜在专家（Latent Expert）——负责“看路”与“预判”
   处理视觉和语言信息，预测“接下来场景将如何演变”，为后续动作提供时间上下文。简言之，它在提前构思下一步可能发生的情境。

2. 动作专家（Action Expert）——负责“画草图”
   从一片“噪声”开始，通过逐步去噪生成大致的动作走向——“手向此方向移动”。该模块运行频率约为每秒5次，契合视觉感知的天然节奏。

3. 触觉专家（Tactile Expert）——负责“微调”
   不参与前期全局规划，仅在接触发生的瞬间启动。以每秒20次以上的高频实时读取指尖传来的力与形变信号，在动作专家绘制的“草图”上进行毫秒级精细修正——“力道轻一点”“向左偏一毫米”。

协同工作流程

• 动作专家率先运行前几步，绘制出动作草图。
• 触觉专家从中间节点接手，利用最新触觉数据完成剩余步骤的精化。
• 核心逻辑：动作专家负责“低频去噪”，触觉专家负责“高频精化”。
• 潜在专家全程“看路”，为两者提供视觉上下文。

三位专家各跑各的时钟，各司其职，最终协同输出完整动作。

T-Rex 的 Mixture-of-Transformer-Experts（MoT）架构。（图片来源：T-Rex）

时空触觉编码器：让机器“读懂”触觉

为了让触觉专家真正理解触觉信号，论文专门设计了一套 时空触觉编码器。其核心是一个 VQ-VAE模块——可将其视为一个“翻译官”，将过去十几帧的时序力数据压缩为离散的“触觉词汇”。

• 优势：既能捕捉力的变化趋势，又能抵抗传感器信号漂移。
• 结果：触觉专家接收到的不再是杂乱无章的原始信号，而是一套标准化的“触觉语言”。

这套设计的本质，是为高频触觉信号辟出独立通道，避免其被低频视觉节奏拖累。三个专家各跑各的频率，各管各的事，互不干扰，最后协同输出完整动作——既保留了视觉对全局的把控，又彻底释放了触觉在接触瞬间的敏捷反应能力。

数据与训练：从通用到专项

数据层面同样下足了功夫。团队构建了一个 100小时的触觉同步数据集：

• 覆盖范围：200多种日常物品、22种动作基元（抓取、挤压、插入、擦拭、折叠等）、7700多条运动轨迹。
• 组织方式：不同于针对特定任务录制的数据集，该数据集围绕“动作×物体”的组合进行组织。22个动作搭配200多种物品，通过排列组合覆盖尽可能多样的接触场景。
• 目的：让模型学习通用的触觉-动作对应关系，而非死记硬背特定任务的模板。

训练策略极具层次感：

1. 大规模预训练：使用 22,889小时的人类第一视角视频，让模型理解人类手部交互模式。
2. 跨模态对齐：利用上述100小时机器人触觉数据进行对齐。
3. 专项激活：仅需少量特定任务示范即可完成专项能力激活。

这种渐进式训练的优势在于，触觉能力无需从头学习，而是在视觉运动先验已建立的基础上，以较少数据“嫁接”进来。

12项“刁难级”任务，30个百分点的跨越

这套架构是否有效？论文在12项专为“刁难”机器人而设计的精细操作任务上进行了严苛测试——翻书页、转移生鸡蛋、擦盘子、挤牙膏、分纸杯、分拣麻将、开锁、填药盒、模拟化学滴定、抽卡片、发扑克牌、拧灯泡。每一项都要求机器人对接触力进行动态、即时的调节。

T-Rex 完成翻书等接触密集型任务（图片来源：T-Rex）

最终结果令人振奋：

• T-Rex相较此前最强基线模型，在12项任务上取得了 超过30%的平均成功率提升。
• 在翻书页、分纸杯等对力度极为敏感的任务中，T-Rex的表现从“几乎不可用”跃升至“初步具备实用价值”。

进一步的消融实验反向印证了设计的精妙：

• 切除所有触觉输入通道：系统成功率出现断崖式下跌。
• 取消异步运行机制：若强行让触觉降频与视觉同步，性能同样显著劣化。

这恰恰说明，T-Rex的成功并非单纯来自“加了触觉”，而是来自“用对了触觉”——赋予其独立的节奏、独立的通道、独立的处理逻辑。

行业警示：从“看见”到“感知”

T-Rex论文的价值，远不止于一组漂亮的实验数据。它用一个极具说服力的反例，向整个具身智能行业发出了明确的警示信号：

“万物皆token、一切进大模型”的通用范式，并不天然适用于所有感知模态。

• 视觉和语言是“慢变量”，适合置于同一个巨大的Transformer中进行全局关联推理。
• 触觉是“快变量”，关乎物理接触和即时反馈，需要单独的高频闭环控制回路。

强行将两者塞进同一个模子，结果不是融合，而是污染。

这让人联想到神经科学中经典的 双流假说——视觉腹侧通路负责“识别是什么”，背侧通路负责“指导怎么做”。T-Rex的混合专家架构，某种程度上是在机器人身上复刻了这种生物演化的高级智慧。

局限性与展望

论文也坦诚了当前的局限性：

1. 复杂操作限制：对于需要数秒级连贯协调的复杂操作，纯粹的行为克隆仍受限于示范数据的覆盖度。
2. 感知范围：当前触觉感知仅限于指尖，而非全手掌。
3. 工程痛点：传感器标定与漂移问题亟待解决。

但这些属于“成长中的烦恼”，并不妨碍T-Rex所确立的范式意义。

这篇论文传递的核心信息已无比清晰：别再让机器人光靠“瞪大眼睛看”来干活了，是时候让它们学会“伸出手去摸”。触觉不应是视觉的附庸，而应是一条独立的、与视觉平起平坐的物理感知通道。

那个“17%跌到6%”的反常实验，或许正是机器人从“看见世界”走向“感知世界”的关键转折点。

（本文首发钛媒体APP，作者 | 硅谷Tech-news，编辑 | 赵虹宇）

(责任编辑：知识)