天大与上海AI实验室：让AI同时"读懂"和"模拟"人类大脑的视觉思维

这项由天津大学人工智能学院与上海人工智能实验室联合发起、天大同香港中文大学参与合作的上海实验室让视觉思前沿研究，已发表于2026年第43届国际机器学习会议（ICML 2026）。读懂论文编号为 arXiv:2606.30319，和模读者可通过该编号获取完整技术细节。拟人脑

大脑：一台天然的天大同“多模态翻译机”

当你凝视一只长颈鹿时，大脑并非孤立地处理视觉信息。上海实验室让视觉思视觉皮层捕捉橙黄色身躯与斑驳花纹的读懂同时，语言区域同步激活，和模生成“长颈鹿”这一概念，拟人脑甚至唤起动物园的天大同气味记忆。这种多模态整合能力，上海实验室让视觉思使大脑成为跨越图像、读懂语言与情感的和模统一处理平台。

然而，拟人脑这一自然过程长期困扰着AI研究者：
1. 大脑编码：破译视觉刺激如何转化为神经信号（图像→大脑）。
2. 大脑解码：从脑部扫描数据还原视觉内容（大脑→图像/文字）。

既往研究常将二者割裂，且多仅将大脑信号与CLIP的视觉特征对齐，忽略了大脑作为“双语者”的语言语义属性。BrainJanus系统应运而生，它是首个实现“一个模型，四种任务”的统一框架，在脑、图、文三种模态间实现自由切换与双向翻译。

一、 痛点：为何过往研究难以突破？

过去十年，基于fMRI的神经影像研究虽能重建大致图像，但存在深层结构性缺陷：

1. 模态单一化：多数方法将大脑信号强行对齐至CLIP的视觉空间，抛弃了大脑中天然存在的语言与语义层次信息。神经科学证实，视觉刺激会激活全皮层的语义地图，而旧模型将其简化为“单语者”。
2. 任务割裂：“编码”与“解码”各自独立，缺乏统一架构。
3. 过度依赖外部工具：由于神经信号解读能力有限，系统严重依赖冻结的CLIP、Stable Diffusion或LLaMA等外部模型进行“脑补”，而非真正基于神经信号解读。

BrainJanus旨在从根本上解决这一裂缝，建立统一的模态交互框架。

二、 核心创新：构建“三语通用”的Omni空间

BrainJanus采用统一大脑分词器（Unified Brain Tokenizer），将大脑信号、图像和文字转化为统一的离散词元（Token），进入共享的Omni空间。

1. 统一大脑分词器

• 技术基础：基于VQ-VAE（向量量化变分自编码器），将连续的fMRI神经活动信号离散化为“词元”。
• 类比：如同将交响乐录音转化为乐谱，虽丢失部分细节（如颤音），但保留核心结构与语义，且更利于存储与处理。
• 参数配置：码本大小128，压缩比128，嵌入维度32。在8名受试者数据上联合训练，实现跨个体通用表示。
• 损失函数：包含重建损失（还原原始信号）、码本损失（优化词汇表准确性）与承诺损失（确保编码器稳定性）。

2. 全向自回归架构

基于Janus-7B初始化，采用自回归Transformer架构。无论输入是脑信号、图像还是文字，模型均视为同一种“词”进行顺序预测。
* 四大任务统一：
* 脑信号 → 文字（解码）
* 脑信号 → 图像（解码）
* 图像 → 脑信号（编码）
* 文字 → 脑信号（编码）
* 高效微调：采用LoRA（低秩自适应）技术，仅调整注意力机制中的查询和值投影矩阵（缩放因子16，Dropout 0.2），其余参数冻结，以节省算力并保留基础模型知识。

三、 实验设置：自然场景数据集（NSD）

• 数据源：NSD数据集，8名受试者在7T fMRI扫描仪下观看COCO图像库。
• 样本规模：聚焦4名受试者（编号1, 2, 5, 7），每人含9000张训练图像（27,000次试次）及1000张测试图像（3,000次试次）。
• 区域覆盖：体素数约1.2万-1.5万，涵盖早期视皮层至高层腹侧视觉区域。
• 文本增强：使用Qwen3-VL-235B为73,000张图像生成详细描述，经CLIP验证，其语义对齐度显著优于传统COCO短标注。

四、 大脑解码：从神经信号还原世界

1. 脑信号 → 文字

BrainJanus在多项指标上全面超越基线（MindEye2, UMBRAE, MindLLM）：

• 案例对比：
• 场景：两匹棕色马在草地。
• BrainJanus：“两匹棕色的马在草地上面对面...明亮的天空下”（准确捕捉颜色、姿态、背景）。
• MindEye2：“几头奶牛站在草地上”（错误）。
• MindLLM：“一男一女站在长颈鹿旁边”（严重错误）。

2. 脑信号 → 图像

BrainJanus是唯一参与比较的自回归模型，其余均为扩散模型。
* 高层语义：CLIP相似度94.4%，Inception得分94.7%，表现优异。
* 低层像素：PixCorr (0.173) 和 SSIM (0.292) 低于MindEye2，符合自回归模型“重语义、轻像素”的特性。
* 零样本泛化：仅训练“脑→文”的模型，通过“脑→文→图”间接生成图像，CLIP得分达77.3%，证明跨任务共享表示的有效性。

五、 大脑编码：揭露评估体系的“作弊”漏洞

研究团队发现现有语义级评估存在致命缺陷，并提出了“填充攻击（Padding Hacking）”作为反例：

1. 漏洞原理：将图像VQ-VAE嵌入向量用零值填充至体素维度，作为“合成fMRI”。解码器从中提取视觉嵌入还原图像。此过程未学习任何生物映射，仅做信息搬运。
2. 惊人结果：该“作弊”基线在PixCorr (0.919)、SSIM (0.595) 及多项视觉指标上接近满分，远超真正学习生物映射的MindSimulator和SynBrain。
3. 结论：高重建质量无法区分“真实神经合成”与“信息泄露”，现有评估体系存在系统性缺陷。

BrainJanus的应对策略：
* 避免与预训练视觉嵌入直接对齐。
* 仅使用交叉熵损失预测脑信号词元，迫使模型学习真实神经模式。
* 结果：Inception得分72.8%，CLIP图像得分75.3%，全面超越线性回归与Transformer基线，且结果具备真实的神经科学意义。

六、 消融实验：压缩与信息的平衡

• 超参数权衡：测试了压缩比（1/64, 1/128, 1/256）与码本大小（8-512）。
• 最佳配置：压缩比128，码本大小128。超过此值后，收益趋于平稳。
• 意外发现：量化过程具有去噪效果，自动过滤大脑信号中的高频随机噪声，提升信号清晰度。

七、 局限与展望

• 局限性：
• 仅处理视觉皮层fMRI，未涵盖全脑认知、情绪或听觉信息。
• 生成图像可能因依赖生成先验而“过度脑补”，牺牲部分神经信号忠实度。
• 计算资源需求高，且对EEG/MEG等其他模态及不同受试者的泛化能力待验证。
• 未来意义：
• 脑机接口：辅助视觉受损患者的神经假肢开发。
• 认知科学：探索大脑视觉处理机制，提出新假说。
• 全模态智能：为统一多模态智能提供可行路径。

BrainJanus通过统一框架，让AI同时“读懂”（编码）和“模拟”（解码）人类大脑的视觉思维，是迈向真正理解大脑的关键一步。

Q&A

Q1：BrainJanus与之前的大脑解码模型相比，最大的区别是什么？
A：核心区别在于“统一性”。既往模型通常单一任务（仅解码图像或文字），且高度依赖CLIP等外部视觉模型对齐。BrainJanus构建了统一的词元空间，利用自回归模型同时处理四种任务（图/文→脑，脑→图/文），实现了真正的双向、多模态统一建模。

Q2：为何fMRI大脑编码的语义级评估容易被“作弊”？
A：现有评估依赖“合成fMRI→还原图像”的质量。研究团队发现，通过“填充攻击”（将视觉嵌入零值填充至体素空间），完全不学习神经规律即可在重建指标上获得接近满分的成绩。这说明高重建质量可能源于信息泄露而非真实神经映射，现有指标无法区分二者。

Q3：BrainJanus在编码任务中为何选择交叉熵损失而非对齐视觉特征？
A：为防止模型走捷径（将视觉特征直接编码进体素空间而非学习生物映射），研究团队摒弃了与预训练视觉嵌入的对齐，改用交叉熵损失直接预测脑信号词元。这迫使模型从真实的神经活动模式中学习，虽得分看似较低，但结果更具神经科学真实性。

(责任编辑：探索)