您的位置:首页 设计制造

高带宽内存芯片:驱动人工智能时代的核心技术

来源:SEMI 中国 顾超    2025-11-14
在人工智能(AI)与高性能计算(HPC)迅猛发展的时代,内存带宽瓶颈已成为制约计算系统性能提升的关键因素。

引言

在人工智能(AI)与高性能计算(HPC)迅猛发展的时代,内存带宽瓶颈已成为制约计算系统性能提升的关键因素。传统内存架构由于物理限制和能耗问题,难以满足现代AI训练和推理对海量数据吞吐的需求。高带宽内存(High Bandwidth Memory,HBM)作为一种革命性的3D堆叠内存技术应运而生,通过垂直堆叠和硅通孔(TSV)等创新技术,实现了内存带宽的跨越式提升,同时大幅降低功耗和物理空间占用。自2013年首次量产以来,HBM技术已从图形处理领域迅速扩展到AI加速器、数据中心和高端计算领域,成为支撑大模型训练、科学计算和5G/6G基础设施的核心内存解决方案。本文将从技术原理、发展历程、市场前景及产业链布局等多个维度,全面分析HBM技术的发展现状与未来趋势。

HBM概述:基本概念与技术原理

高带宽内存(HBM)即高带宽低功耗的全新一代存储芯片,主要作以CPU/GPU内存芯片使用,其本质上是基于2.5/3D先进封装技术来实现的大容量,高带宽的DDR组合阵列。HBM由三星、AMD和SK海力士共同提出,与传统内存布局不同,HBM不是将所有内存芯片并排布置在平板上,而是将多个DRAM像多层建筑一样垂直堆叠,主要利用先进工艺TSV(硅通孔)和微凸块(Micro bump)将裸片进行TCB(堆叠键合)而相连接;多层DRAM die再与最下层的Base Die连接,然后通过凸块(Bump)与硅中阶层(interposer)互联。目前主流的AI芯片即由HBM与GPU、CPU或ASIC同一平面内共同铺设在硅中介层上,再通过CoWoS等2.5D先进封装工艺相互连接,硅中介层通过Cu Bump连接至封装基板上,最后封装基板再通过锡球与下方PCB基板相连,从而实现超短距离、超高密度的互连;HBM技术的核心创新在于三大相互关联的技术要素:

·3D堆叠架构:垂直堆叠多层DRAM芯片(目前最高达12层),显著提升单位面积存储容量。这种设计不仅节省空间,还能实现传统平面布置无法达到的容量密度。

·硅通孔(TSV)技术:在堆叠的DRAM芯片内蚀刻直径仅5-10微米的微孔,并填充导电材料形成垂直通道。这种高密度、短距离的垂直布线直接连接上下层的信号、电源和接地线,使HBM能够实现1024位甚至2048位的超宽总线宽度。

·硅中介层(Interposer):作为连接HBM堆栈与处理器的精密桥梁,中介层使用其表面和内部高密度布线(走线宽度/间距低至微米级),在极短距离内将HBM堆栈的超宽接口与GPU/CPU芯片的高速I/O端口互连。这种设计实现了毫米级甚至更短的互连距离,大幅降低信号延迟。

TSMC基于HBM结构的CoWoS先进封装应用

HBM的核心优势

与传统内存技术(如GDDR)相比,HBM展现出多方面的显著优势;首先是超高带宽:HBM的带宽能力远超传统DRAM,目前HBM3E的单堆栈带宽已达1.2TB/s,预计HBM4将进一步跃升至2.0TB/s。这种指数级提升的带宽能力直接解决了AI训练中的内存瓶颈问题,使GPU能够高效处理数十亿甚至数万亿参数的模型。继而是卓越能效:TSV技术缩短了数据传输距离,使HBM的能耗比(单位数据能耗)较GDDR5降低约30-50%。垂直堆叠结构减少信号传输路径,降低了驱动互连所需的功率,大幅提升能效。再者在空间尺寸上:3D堆叠设计使内存模块尺寸大幅减小,HBM的PCB占用面积仅为传统方案的1/3。以AMD Fiji GPU为例,采用HBM后PCB面积减少了55%,从110mm降至55mm,实现更加紧凑的系统设计。最后在低延迟特性上:超短互连距离和直接垂直连接显著降低了信号传输延迟,使处理器能够更快访问数据,在AI推理等实时性要求高的场景中,这种低延迟特性尤为关键。

GDDR5HBM 产品性能指标对比

技术发展历程

HBM技术的发展历程可追溯至2009年AMD与SK海力士的联合研发成果,经过多年技术探索,于2013年实现了首次商业化量产。这一里程碑标志着3D堆叠内存技术从概念走向现实。2015年,AMD在其Fiji架构GPU(Radeon R9 Fury系列)中首次应用HBM1,搭载4个HBM1堆栈,总容量4GB,总带宽达到512GB/s,在当时显著领先于GDDR5解决方案。这一阶段的技术特点主要表现为以下几个方面:堆栈结构:HBM1采用相对简单的4层堆叠(4-Hi),单堆栈1024位宽,最大容量1GB;带宽突破:尽管容量有限,但HBM1的带宽已达GDDR5的3倍以上,同时功耗降低30%;封装创新:首次采用2.5D封装技术,通过硅中介层实现GPU与HBM堆栈的高密度互连。

2016年,随着HBM2技术的推出,NVIDIA在其Tesla P100计算卡中采用4个HBM2堆栈,总带宽达到720GB/s,是前代GDDR方案的3倍性能。2017年,NVIDIA推出首款搭载Tensor Core的V100 GPU,同样采用4个HBM2堆栈,但容量翻倍至32GB,带宽进一步提升至900GB/s,大幅加速了深度学习训练效率。随着AI深度学习热潮席卷全球,HBM技术进入快速发展期。2020年,NVIDIA推出基于Ampere架构的A100 GPU,首次采用HBM2e技术,搭载5个8层堆叠(8-Hi)的16GB HBM2e堆栈,总容量达到80GB,带宽突破2TB/s(2039GB/s),是前代V100的两倍有余。这一突破使大规模模型训练成为可能,为AI大模型时代奠定了基础。

2022-2023年是HBM技术发展的关键转折点,SK海力士于2022年率先量产HBM3,并供应给NVIDIA H100等AI加速器,HBM3支持12-16层堆叠,单堆栈容量最高达24GB,带宽跃升至819GB/s。2023年底,AMD推出Instinct MI300X加速器,搭载8个HBM3 12-Hi 24GB堆栈,总容量达192GB,总带宽达到惊人的5.3TB/s,为大型语言模型提供强大支持。

2024年,HBM3E技术(HBM3的增强版)成为市场新焦点。三星和SK海力士相继推出传输速率达8-9.6Gbps的HBM3E产品,单堆栈带宽突破1.2TB/s。同时,堆叠层数进一步增加,三星开发出业内首款12-Hi HBM3E,单颗容量达24GB。HBM3E通过微凸块和底部填充的热压缩技术堆叠DRAM芯片,并开始向更先进的铜-铜混合键合技术过渡,为下一代产品做准备。

2025年4月,JEDEC发布了HBM4官方规范(JESD238),标志着HBM技术进入新阶段。HBM4的核心创新包括多个方面;架构革新:引入2048位超宽接口,单堆栈带宽提升至2.0TB/s;容量突破:采用16层堆叠,单堆栈容量提升至48GB+;逻辑集成:在基础芯片中集成LPDDR控制器,优化资源利用率。SK海力士在2025年台积电北美技术研讨会上首次公开展示其16层堆叠HBM4方案,计划在2025年下半年实现量产。三星则计划在HBM4产品中配备1c DRAM和逻辑芯片,而美光宣布将于2026年量产HBM4,预计带宽较HBM3E提升60%以上。

长期技术路线图显示,HBM技术将持续迭代至HBM5/HBM6,其中HBM5(约2027年)将引入近存计算(NMC)模块,降低HBM与AI加速器间带宽需求;HBM6将采用双塔结构(一个基础芯片支持两个DRAM堆栈)和NMC集成;堆叠技术上将从微凸块互连向铜-铜混合键合过渡,实现微米级3D互连。

基于YoleSk Hynix官网的HBM产品线

市场规模与增长动力

2030年,全球HBM市场预计将突破1000亿美元,呈现出爆发式增长态势。根据Yole的市场报告,2024年全球HBM市场规模约180亿美元,同比增长接近3倍。摩根大通最新研究预测,2026年市场规模将同比增长超70%,占DRAM总市场的45%,到2030年,HBM在DRAM营收中的占比将提升至56%。这种呈指数级的增长主要由三重动力驱动:

·AI芯片需求激增:全球AI芯片市场持续扩张,对高带宽内存的需求呈几何级增长。2024-2027年,英伟达、AMD和ASIC的位元需求复合年增长率(CAGR)预计超过50%,其中仅英伟达在2025-2027年的位元占比就超60%,主导整体需求增长。随着模型参数规模从数亿跃升至数万亿级别,AI芯片对HBM的依赖日益加深。

·主权AI浪潮兴起:各国政府将AI基础设施纳入国家战略,推动主权AI成为HBM市场的关键新变量。沙特计划投资100亿美元采购1.8万颗英伟达Blackwell GPU;韩国推出100万亿韩元主权AI计划确保5万颗GPU;英国、法国等也积极推进国家级AI算力基础设施建设。这类需求正从超大规模云服务提供商向主权市场扩散,形成新的增长点。

·技术迭代加速:HBM从HBM2向HBM3、HBM3E及HBM4的演进不断创造市场新需求。预计2027年,HBM4与HBM4E合计将占总位元供应量的70%。如英伟达计划推出的Vera Rubin GPU将搭载HBM4芯片,AMD将在明年推出的下一代GPU MI400系列也集成432GB的HBM4,这些更新迭代均成为未来几年HBM的核心增长动力。

市场应用场景拓展

HBM的应用领域已从早期的高端图形处理扩展到更广泛的领域:

·AI与数据中心:作为HBM的核心应用场景,AI服务器GPU对HBM的需求持续增长。大规模并行计算需要高带宽支持,HBM通过提供每秒TB级的数据吞吐能力,使GPU能够高效处理数十亿参数的复杂模型。英特尔在其2025年初发布的Sapphire Rapids处理器中集成HBM2,使AI训练速度提升近50%。

·消费电子:2025年,苹果计划在20周年纪念版iPhone中引入HBM技术,标志着HBM向移动设备渗透。折叠屏手机、AR/VR设备等高端消费电子产品也将逐步采用HBM解决方案,满足实时渲染和移动端AI功能的需求。

·5G/6G与边缘计算:5G基站和核心网络设备需要极高带宽支持,HBM为这些基础设施提供了关键技术支撑。随着边缘AI的发展,HBM的低功耗、小尺寸优势使其成为边缘服务器的理想选择。

·自动驾驶与VR/AR:自动驾驶系统需要实时处理海量传感器数据,VR/AR设备要求高带宽确保图像和数据实时传输,如AMD的搭载HBM3的GPU已被应用于这些领域,为用户提供流畅的沉浸式体验。

产业链竞争格局

全球HBM市场呈现高度集中的竞争格局,由SK海力士、三星电子和美光科技三大巨头主导。预计到2025年,海力士、三星和美光的全球市场份额将分别为45%、42%和13%,各家企业采取不同的技术路线和竞争策略:

·SK海力士:HBM技术的领先者,2022年率先量产HBM3并供应英伟达H100。在HBM3E领域保持优势,2025年计划推出16层堆叠的HBM4,容量高达48GB,带宽高于2.0TB/s。凭借与台积电的紧密合作,SK海力士在HBM4领域有望保持60%以上市场份额。

·三星电子:产能领先但遭遇技术认证延迟,2023年开发出业内首款12-Hi HBM3E(单颗24GB)。在HBM4领域重点开发10级第6代(1c)DRAM,计划在HBM4 12Hi产品中配备1c DRAM和逻辑芯片,寻求性能优势。

· 美光科技:市场份额较小但增长迅猛,2025财年第三财季HBM营收环比增长50%,季度营收运行率达15亿美元。计划2026年量产HBM4,目标带宽较HBM3E提高60%以上。凭借在中国台湾和新加坡的产能扩张,美光市场份额有望显著提升。

技术挑战与未来趋势

随着HBM技术向更高性能发展,面临的技术挑战日益严峻;

·热管理难题:堆叠层数增加导致芯片内部的积热问题日益突出。HBM3E 12层堆栈的功率密度已达传统DRAM的3倍以上,芯片结温可能超过105℃。若热量无法有效散发,将直接导致性能下降、寿命缩短甚至功能性异常。当前解决方案包括:采用热压缩焊接(TCB)技术提升散热效率,开发新型底部填充材料增强导热和优化芯片布局来减少热耦合。

·堆叠工艺瓶颈:12层以上堆叠面临结构变形和良率下降挑战。为控制总厚度,DRAM芯片需减薄至40μm以下,薄片晶圆加工中的翘曲(Warpage issue)问题日益突出。如采用混合键合技术虽能实现微米级互连,但成本上将增加30%以上。

·测试复杂性:HBM测试包括晶圆测试和Known-Good-Stack-Die(KGSD)测试两个阶段,面临诸多挑战:测试接口带宽不足,测试时间随堆叠层数指数级增长和故障诊断难度大。

·成本压力:HBM制造涉及TSV刻蚀、微凸块形成、薄晶圆处理、精密键合等复杂工序,成本较传统DRAM高3-5倍。HBM4的逻辑芯片成本占比进一步提升,每个逻辑芯片成本达100-140美元。

结论与展望

高带宽内存(HBM)作为突破“内存墙”瓶颈的关键技术,已成为人工智能时代不可或缺的基础设施。从技术发展角度看,HBM通过3D堆叠、TSV和硅中介层等创新,实现了带宽、能效和空间效率的跨越式提升。当前,HBM技术已发展至HBM3E阶段,单堆栈带宽达1.2TB/s,即将量产的HBM4将进一步实现2.0TB/s带宽和48GB+容量,并引入LPDDR控制器优化资源利用率;未来HBM5/HBM6将向近存计算和双塔结构去演进。

从市场前景看,全球HBM市场正经历爆发式增长,预计2025年规模突破300亿美元,2030年达1000亿美元。这一增长由三重引擎驱动:AI芯片需求激增(英伟达、AMD、ASIC的位元需求CAGR超50%)、主权AI浪潮(沙特、韩国等新型国家加快战略投资)以及技术迭代加速(HBM4/HBM4E占比将超70%)。与此同时,HBM应用场景从AI服务器向消费电子(如iPhone)、边缘计算和自动驾驶等领域不断扩展。

在产业格局方面,全球市场由SK海力士、三星和美光三大巨头主导,但中国产业链在美国技术封锁下正加速自主化进程。长鑫存储、武汉新芯、通富微电等企业在制造和封装环节已经有所突破;北方华创、中微公司、盛美上海等设备商迎来了国产替代机遇;雅克科技、兴森科技、联瑞新材等材料企业逐步突破技术瓶颈。

尽管面临热管理、堆叠工艺和成本控制等挑战,但通过混合键合、近存计算和先进热管理等创新,HBM技术将持续演进。随着各国“主权AI”战略推进和AI大模型的普及,HBM作为核心基础设施将发挥更加重要的作用。未来5年,HBM产业将进入黄金发展期,重塑全球半导体格局,并为中国半导体产业提供“弯道超车”的战略机遇。掌握HBM核心技术,已成为各国抢占人工智能时代制高点的关键战役。