高速网络技术变革,RoCE取代IB之路

薪科技快评 2024-07-19 15:46:45

RoCE取代IB:为何之前是IB,现在是RoCE?

以太网在AI算力中的Why、How和What”。

超以太网联盟(UEC)由Linux基金会和联合开发基金会共同发起,旨在超越传统以太网功能。通过RDMA和RoCE等技术,UEC为HPC和AI计算提供高性能、分布式和无损传输层。其创始成员包括AMD、Arista、博通、思科、Eviden、HPE、Intel、Meta和微软等业界领军企业。

至2024年3月19日,UEC已壮大其队伍,新增45名成员。同时,我们发布了UEC规范1.0白皮书,详细解读了其八大功能以及超以太网传输(UET)的卓越性能。

2024年《IPv6+创新与标准技术合集》中国边缘云市场报告:1. IPv6+的创新与标准; 2. IPv6赋能智算网络,展望《VMware Tanzu容器技术合集》。探讨基于IPv6网络的移动目标防护、访问控制及融合策略。揭秘空间数据智能:从概念到挑战。全面解读泛在计算安全。

博通,全球领先的有线和无线通信半导体巨头,已在业界砥砺前行60载,凭借深厚的技术底蕴和丰富的产品线,稳居行业领先地位。在RoCE领域,博通全面布局控制器、适配器、NIC、交换机四大关键环节,已推出超过30款优质产品。近期,博通更是凭借第四代RoCE技术,推出单端口400GbE以太网适配器N1400GD和单端口400GPCIe以太网NIC P1400GD,这两款产品主要服务于AI、云计算、高性能计算以及存储网络的构建,再次彰显了博通在通信领域的创新实力。

英伟达在 NIC 和交换机方向进行布局,尽管此前英伟达是 InfiniBand 的主要推动者及供应商,但也持续在 RoCE 方向布局,陆续推出 Spectrum SN4000 和 Spectrum SN5000 交换机则,并于今年推出与 IB 新产品同规格的 Spectrum X800 交换机,同时计划于 2025 年推出 512 端口的 Spectrum UltraX800 交换机,于 2026 年推出带宽相比 X800 翻倍的 X1600。

自2020年以来,Meta公司一直专注于运营基于RoCE的分布式训练集群。然而,在早期阶段,公司面临着一致性的挑战。为了实现RoCE在AI计算应用中的落地,Meta作为创始成员之一,成立了超以太网联盟,并积极推动RoCE的部署。通过使用Arista 7800和Wedge 400等设备构建的RoCE网络,Meta成功实现了400G的互连。目前,这一技术已经成功应用于Llama3集群中。

RDMA技术,凭借其高并发、低延迟的特性,优于传统的TCP/IP,成为AI计算的首选。相较于TCP/IP的软硬件架构,RDMA直接通过网卡访问GPU显存数据,绕过操作系统和CPU,实现高吞吐、低延迟的网络通信。这种优势使其在大规模并行AI计算集群中表现出色。

Infiniband、RoCE(RDMA over Converged Ethernet)、iWARP,三款支持RDMA的网络各具特色。它们分别代表着高速、高效和灵活的数据传输方式。

Infiniband:专为RDMA设计,硬件级保障可靠传输,应用效果卓越。无需额外研发,但需配备IB网卡和交换机支持。尽管成本略高,但性能无可挑剔。

RoCE:采用以太网和UDP传输层协议设计,资源消耗降低。仅需普通以太网交换机,但需配备专门支持RoCE的网卡。

iWARP:基于以太网传输层TCP协议,实现可靠的数据传输。相较于RoCE,在大规模组网中,iWARP依赖的众多TCP连接会消耗大量内存资源(而RoCE的UDP连接则无需如此),因此对系统规格的要求更高。尽管可以采用普通的以太网交换机,但必须配备专门支持iWARP的网卡。

在AI算力建设的浪潮中,IB曾被视为早期局部最优解,而RoCE则成为更广泛的最优解。随着AI算力建设的加速推进,高吞吐、低延迟的网络需求催生了对支持RDMA网络通信的需求。英伟达H系列GPU的持续供不应求现象也反映出,各算力投资方在短时间内实现快速、高质量、高数量的算力落地是核心诉求。因此,英伟达的GPU与天然适配RDMA的IB网络架构相结合,成为了当时的最优解。

长远来看,以太网/RoCE在云计算领域的应用基础更为深厚,实现成本更低。随着技术的日益成熟和推理需求的崛起,以太网将逐步成为AI算力舞台的核心。

-对此,您有什么看法见解?-

-欢迎在评论区留言探讨和分享。-

1 阅读:8

薪科技快评

简介:薪科技评说,发现技术的点滴,记录科学的飞跃!