AI内存V-Die亮相：侧立放置DRAM吞吐540 tokens/s

IT之家 7 月 11 日消息，内存据科技媒体 Tom's Hardware 7 月 10 日报道，亮相在 6 月举行的侧立 IEEE / JSAP 超大规模集成电路技术研讨会上，针对 AI 加速器面临的放置内存散热与带宽瓶颈，学术界提出了 V-Die与 MOSAIC两种创新的吞吐高带宽内存（HBM）集成方案。

IT之家注：高带宽内存（HBM）是内存一种面向高性能计算与 AI 加速器的近封装内存技术。它通过多层 DRAM 堆叠，亮相利用超宽总线与处理器进行近距离互连，侧立以极短的放置数据路径提供极高带宽。该技术广泛应用于 GPU、吞吐AI 训练与推理加速器以及超级计算节点等高吞吐场景。内存

图源：AMD

核心创新：从“向上堆叠”到“侧立放置”

为了解决传统 HBM 在堆叠层数增加时面临的亮相散热恶化与带宽受限问题，韩国蔚山国立科学技术院（UNIST）提出了 V-Die方案，侧立而日本东京大学牵头团队则推出了 MOSAIC方案。放置

两者的吞吐核心思路一致：将 DRAM 芯片由传统的垂直向上堆叠改为侧立放置。这种结构变革旨在缓解高密度堆叠带来的巨大散热压力，并优化互连效率。

V-Die 方案：取消 TSV，引入液冷

V-Die 方案采用竖直放置 DRAM Die 芯片的设计，其技术特点包括：

• 取消 TSV（硅通孔）：摒弃了传统的硅通孔技术，改用每片裸片底边的 I/O 进行连接。
• 液冷通道集成：在相邻裸片之间加入液冷通道，以增强散热能力。
• 性能对比：在与 HBM4 同等容量对比下，V-Die 在 GPT-3 规模工作负载中达到了 540 tokens/s的吞吐量，而 HBM4 仅为 296 tokens/s，性能提升高达 82.43%。
• 互连优势：V-Die 底边连接间距仅为 20 微米，连接数量可达 HBM4 的 4 倍，使内存读取时间降低了 37%。
• 仿真表现：在与 H100 级硬件匹配的 16 层堆叠仿真中，该方案将首 Token 时延降低了 32%（约 24 毫秒）。
• 温控效果：通过微流体冷却技术，堆叠温度可维持在 45°C左右，显著低于高密度 HBM 系统常见的 80°C 以上高温区间。

MOSAIC 方案：提升可制造性与互连效率

MOSAIC 方案由东京大学团队主导，重点在于提升侧立堆叠技术的可制造性：

• 正交裸片堆叠：采用正交排列方式，结合无接触裸片互连技术。
• 微型感应线圈：使用微型感应线圈替代对对准精度要求极高的金属信号接触，降低了制造难度。
• 接口速率：原型接口速率最高可达 4 Gbps / 通道。
• 容量扩展：在 DRAM-on-GPU 结构中，可实现 HBM4 级容量 2 倍的存储能力。

此外，在 ECTC 会议上披露的 bump-MOSAIC硬件演示展示了另一项相关进展：

• 高精度对准：采用 100 微米间距的微凸点，X 射线 CT 验证显示堆叠对准误差控制在 6 微米以内。
• 散热与容量提升：该配置的热导率达到传统堆叠方案的 3 倍，并可额外增加最高 30%的内存容量。

(责任编辑：知识)