随着英伟达推出新一代Blackwell GPU、配套升级NVLink 5.0/NVSwitch 4.0 GPU互联技术及ConnectX-8 InfiniBand SuperNIC网络通信能力,并创新性提出NVL72/NVL36*2架构,我们认为其正引领总线传输速率提升、服务器架构升级两大行业发展趋势,并对通信总线底层硬件(连接器及线缆)提出了更高要求。
本文是连接器系列报告的第一篇,我们聚焦梳理了英伟达总线速率提升及架构升级两大变化对连接器及线缆价和量两个维度的需求拉动情况,并测算了NVL72/NVL36*2单方案的连接器及线缆价值量。
摘要
价格提升:GPU算力持续提升下,服务器系统通信和网络通信速率持续提升,对应连接器及线缆性能要求更高即单价提升。随着总线底层SerDes技术向224G发展,通信总线包括InfiniBand和以太网速率往1.6Tb/s标准甚至更高升级的趋势明确,带动和光模块对插、用于在外部网络和计算设备之间提供数据接口的高速I/O连接器以及线缆产品性能升级。
用量增加:单机柜NVLink互联GPU数量大幅提升下,NVL72/NVL36*2使用铜缆互联较光模块方案可节省6倍成本,对应背板连接器及线缆单机用量提升。NVL73/NVL36架构中GPU:高速背板连接器:铜缆数量为1:36:72,与DGX架构相比,其高速背板连接器和铜缆需求量提升5倍。
我们测算NVL72/NVL36*2单方案连接器及线缆价值量分别为72万元/78万元。除了背板连接需求增加,我们也看到NVL72/NVL36 Compute tray中使用Mirror Mezz连接器替代MCIO PCIe x16连接器、Switch tray中使用跳线方案替代PCB走线、以及ACC及DensiLink线缆用于2个NVL36间互联等变化。综合考虑各组件间连接方案创新,我们测算NVL72/NVL36*2单方案连接器及线缆价值量占比整体价值量约3~4%。
风险
互联网/运营商资本开支增速不及预期;AI产业需求不及预期;国产供应商竞争能力不及预期。
正文
通信总线:底层SerDes技术向224G发展,连接器及线缆性能要求提升
AI浪潮驱动数据处理量快速增长,算力需求的提升除了依靠GPU卡、SSD等核心硬件的性能提升,还需要更高的系统通信和网络通信能力作为支撑。SerDes是SERializer(串化器)/DESerializer(解串器)的简称,为以太网、HDMI、PCIe、USB等高速串行链路数据通信协议的底层技术。在AI需求提升的背景下,我们看到SerDes技术向224G升级的趋势加速确立,对应传统系统总线如PCIe、SAS,通信总线如InfiniBand、以太网等的信号传输速率持续提升。同时,基于SerDes底层高速数据传输技术的发展,英伟达NVLink及NVSwtich GPU互联技术也升级迭代,使得服务器GPU之间能够快速、顺畅地互联通信。
图表:SerDes技术发展及关键指标
资料来源:OIF官网,中金公司研究部
通信总线:总线通信速率提升,InfiniBand和以太网技术升级明确
InfiniBand未来预期传输速率已规划指标3.2Tb/s:2023年11月,IBTA发布XDR 800Gb/s InfiniBand的初始规范,2024年XDR 800Gb/s落地,单通道SerDes速率翻倍,支持XDR的网卡和交换机提供每端口800Gb/s的传输速度,并支持1.6Tb/s端口速率的XDR交换机到交换机之间的连接;IBTA计划在2026年、2030年将InfiniBand网络性能继续提升至GDR1.6Tb/s、LDR3.2Tb/s。
以太网向1.6Tb/s速率标准升级:以太网自1973年诞生后的前30年间接连发展出了10M、100M、1000M、10GE、40GE、100GE 6种以太网速度标准,近几年为了适应应用的多样化需求,以太网速率打破了以10倍提升的惯例,开始出现2.5GE、5GE、25GE、50GE、200GE、400GE、800GE等新的以太网速率标准。
图表:总线信号传输速率发展趋势
资料来源:IECC官网,OIF官网,中金公司研究部
互联技术:NVLink及NVSWitch互联技术迭代,实现GPU间高速互联
NVLink和NVSwitch技术实现GPU间高速互联,最新迭代至NVLink5.0及NVSwitch4.0。
图表:NVLink及NVSwitch技术发展及关键指标
资料来源:英伟达官网,中金公司研究部
底层硬件:连接器及线缆构成组件互联底层硬件,传输速率等性能要求提升
总线底层硬件由连接器及线缆构成,信号完整传输路径为:组件A向外部发送数据时,数据链路层(MAC,即介质访问控制)通过接口向PHY芯片传送数据,后者将接收到的并行数据转化为串行数据、并按照物理层的编码规则进行数据编码、再将数据变为模拟信号,通过静电放电保护器(Electrostatic Discharge Protection Device,ESD)[1]、电容、连接器——线缆/PCB线路——连接器、电容、ESD传输到组件B,组件B的PHY芯片将模拟信号转换为数字信号,解码后经过接口传输至MAC层。
总线的性能指标即传输信号的方式直接影响着连接器和线缆的性能要求,具体包括:1)总线传输周期越短、工作频率越高,数据传输速率越快,对连接器和线缆性能要求越高;2)总线宽度越大,即一次传输的数据位数越多,线缆/PCB线路数量越多,连接器引脚数量越多;3)总线复用即一条信号线在不同的时间传输不同的信息,相应可以使用更少的线缆/PCB线路数量,节省引脚并减小连接器尺寸。
图表:总线物理层信号传输路径
资料来源:罗森伯格官网,中金公司研究部
服务器架构:英伟达推出NVL72/36实现服务器架构升级,连接器及线缆用量增加
在GTC 2024大会上,英伟达发布GB200 NVL72/36:1)GB200 NVL72由18个计算节点、9台NVLink Switch tray、1台Q3400-RA 4U InfiniBand交换机组成。其中,单个计算节点由4块Blackwell GPU和2块CPU组成,即GB200 NVL72包含72块GPU;2)GB200 NVL36*2架构中包含18个计算节点、18台NVLink Switch tray,每个NVSwitch tray上配有18个1.6T双端口OSFP连接器以实现2个NVL26机架的水平互联。
变化趋势:Compute tray与Switch tray间背板连接需求增加
普通的HGX和DGX架构(GPU互连不使用铜缆和连接器)
以H100为例,HGX H100为计算模组,需额外搭配CPU、内存、硬盘等构成完整的服务器;DGX H100则为英伟达提供的基于HGX H00的完整服务器。在HGX板上,有8个GPU和4个NVSwitch,其中NVLink连接通过PCB线路完成。
图表:DGX H100系统中GPU tray结构
资料来源:英伟达官网,中金公司研究部
图表:GH200 Grace Hopper Superchip结构
资料来源:英伟达官网,中金公司研究部
GH200 superchip的MGX和DGX架构(DGX架构中GPU:高速背板连接器:铜缆数量=1:6:12)
通过将1个Grace CPU和1个H100通过NVLink-C2C组成GH200,英伟达推出MGX GH200服务器,其中不包括NVSwitch,NVLink域连接有限,主要通过infiniband/以太网实现互联;英伟达还推出DGX GH200服务器,其中第一层连接是通过NVLink和3个NVSwitch实现8个GPU间互联,第二层通过LinkX线缆[2]和36个NVSwitch实现互联。
图表:MGX GH200逻辑架构(以Infiniband连接为例)
资料来源:英伟达官网,中金公司研究部
图表:DGX GH200逻辑架构
资料来源:英伟达官网,中金公司研究部
GB200 superchip的NVL72和NVL36架构(GPU:高速背板连接器:铜缆数量=1:36:72)
通过将1个Grace CPU和2个Blackwell GPU通过NVLink-C2C组成GB200,英伟达推出NVL72和NVL36架构服务器。NVL72中由2个GB200组成的compute tray和由2个NVSwitch组成的Switch tray通过后置的铜线背板连接,每个GPU需要18个端口与其他GPU相连,NVL72中共需要1296个端口,考虑到每个NVLink5.0由4对差分线组成,铜缆总线数达5184根;在Switch tray中通过跳线和连接器实现和NVSwitch芯片的互联。通过compute tray和Switch tray分离,不同于此前集成在一块HGX板上的结构,NVL72结构带来了线背板连接(包括铜缆和高速背板连接器)的明显增量。NVL36和NVL72不同的是每个compute tray中只有一个GB200芯片,这样在NVSwitch上会留有空余的铜缆接头,我们认为或可能用于第二层NVSwitch的连接以形成可拓展的计算集群。
图表:NVL72和NVL36的互联拓扑结构
资料来源:芯语,英伟达官网,中金公司研究部
图表:NVL36/72背板连接架构(安费诺方案)
资料来源:SemiAnalysis,中金公司研究部
Compute tray:使用Mirror Mezz连接器,实现性能及散热效率提升
NVL36/72中Compute tray使用Mirror Mezz连接器替代MCIO PCIe x16连接器,以实现性能及散热效率提升。DGX H100/200中4个ConnectX-7组成一个网卡模组,根据Semi analysis,网卡模组通过MCIO PCIe x16连接器连接主板;NVL36/72中ConnectX-8网卡模组使用Mirror Mezz连接器通过夹层板进行通信连接,可减少信号传输的损耗和延迟;同时不通过BGA封装,直接通过夹层连接器及基板直接贴合的方式,有助于优化散热和简化布局。
图表:DGX H1100/200中网卡模组构成
资料来源:英伟达官网,中金公司研究部
图表:224G SerDes互联解决方案
资料来源:莫仕官网,中金公司研究部
Switch tray:跳线方案替代PCB走线,降低信号损耗
Switch tray中使用跳线方案替代PCB走线,安费诺及莫仕均推出224G跳线解决方案。1)安费诺方案中,NVL36/72架构中,Blackwell架构GPU通过安费诺Paladin HD 224G/s连接器连到背板连接器,并通过SkewClear EXD Gen 2电缆与NVSwitch tray相连,其中每个Paladin HD 224G/s连接器包含144对差分信号,对应连接到NVSwitch tray中包含4个144对差分连接器,共需要处理576对差分信号,这使得PCB走线方案串扰影响及信号损耗较大,对应使用Overpass flyover电缆实现在Switch tray中的信号连接;2)莫仕方案中,近芯片连接器通过混合电缆传输信号至背板连接器形成信号传输通道,以降低信号损耗。
图表:224G安费诺连接方案
资料来源:SemiAnalysis,中金公司研究部
图表:224G莫仕连接方案
资料来源:莫仕官网,中金公司研究部
NVL36*2方案中ACC及DensiLink线缆需求增长
相比NVL72,NVL36*2单机柜功率密度及冷却方式更易实行,但成本增加NVSwitch tray、DensiLink线缆及跨机架互联电缆:1)NVL72方案的NVSwitch tray/NVSwitch芯片数量分别为18个/36个,NVL36*2方案的NVSwitch tray/NVSwitch芯片数量分别为36个/72个;2)NVL36*2方案中,两个机架之间系统仍保持非阻塞的全互连结构以实现72个GPU之间的高速数据传输,根据SemiAnalysis,NVSwitch tray中通过OSFP cage及ACC线缆实现两个NVL36机柜的互联。
图表:NVL36*2 NVLink互连系统
资料来源:SemiAnalysis,中金公司研究部
NVL72/NVL36*2单方案连接器及线缆价值量分别达72万元/78万元
我们测算NVL72、NVL36*2单方案中连接器及线缆的价值量分别为72万元、78万元。通过对NVL72/NVL36*2单方案连接器及线缆价值量的测算,我们发现其中高速背板连接器、高速I/O连接器、高速线缆为价值量较高细分产品。
图表:NVL72单机连接器及线缆价值量测算
注:NVL72未公布详细逻辑架构,我们根据已有公开信息及内部预测假设基础上得到以上测算,其中非核心连接部分参考HGX H200浪潮英信服务器NF5488A5资料来源:SemiAnalysis,中金公司研究部
图表:NVL36*2方案连接器及线缆价值量测算
注:NVL36*2方案未公布详细逻辑架构,我们根据已有公开信息及内部预测假设基础上得到以上测算,其中非核心连接部分参考HGX H200浪潮英信服务器NF5488A5资料来源:SemiAnalysis,中金公司研究部
风险提示
互联网/运营商资本开支增速不及预期。互联网/运营商资本开支对于数据中心基础设施的投入及上游服务器连接器厂商业绩影响较大,若资本开支增速不及预期,将使得服务器连接器等产业链上游配套硬件需求受到影响。
AI产业需求不及预期。随着社会数字化及智能化转型的持续,AI大模型场景落地加速赋能百行百业。我们认为,人工智能的蓬勃发展驱动算力需求持续提升,推升服务器、光模块、交换机等AI硬件需求。若AI大模型或应用落地不及预期、或商业化变现之路受阻,或影响以头部云厂商为代表的AI产业参与方对AI相关基础设施的投资力度和决心,可能会对上游AI硬件设备的市场增速、产品迭代速度产生不利影响。
国产供应商竞争能力不及预期。服务器高端连接器方面,相较于国产供应商,海外供应商仍在技术积淀、产品性能、量产能力方面具备一定的优势,且相应产品已成熟落地于海外服务器中。若国产供应商无法在产品性能与量产能力上得到下游客户认可,竞争能力可能不及预期。
[1] ESD用于保护电子设备免受静电放电的损坏,电容用于信号滤波和电压稳定以保证连接器获得清晰稳定的信号。
[2] 用于以太网和InfiniBand
文章来源
本文摘自:2024年8月23日已经发布的《智算未来系列十一:高速连接的桥梁,AI服务器连接器及线缆迎升级》
温晗静 分析员 SAC 执证编号:S0080521070003 SFC CE Ref:BSJ666
查玉洁 联系人 SAC 执证编号:S0080122120012
贾顺鹤 分析员 SAC 执证编号:S0080522060002 SFC CE Ref:BTN002
李诗雯 分析员 SAC 执证编号:S0080521070008 SFC CE Ref:BRG963
郑欣怡 分析员 SAC 执证编号:S0080524070006
彭虎 分析员 SAC 执证编号:S0080521020001 SFC CE Ref:BRE806
法律声明