AI背后的“男人”

龅牙兔谈科技 2024-05-11 01:28:42

AI(人工智能)已成为当下IT界最热门的话题,说它“妇孺皆知”貌似也不是很过分,今天我们要谈到的话题 —— AI背后的“男人”,这个“男人”既不是指英伟达的黄教主,也不是OpenAI的奥特曼,而是RDMA。

AI的背后需要庞大的算力中心/平台,超高的传输速率和超低的网络延迟都是极其重要的参数标准,这就离不开高质量的网络架构 —— RDMA。

RDMA —— RDMA - Remote Direct Memory Access(远程内存访问),它是一种高效的网络通信技术,允许一台计算机直接访问另一台计算机的内存,而无需通过操作系统的干预(把CPU旁路掉),大大提高了数据传输的速度和效率。

做一个形象比喻:你正在准备一场大型晚宴,需要从邻居家借来一些餐具和配料。没有RDMA的情况类似于,每次你需要借东西时,都必须去敲邻居的门,由他们亲自开门,然后把东西递给你。这个过程不仅需要你和你的邻居花费时间和精力,而且每次交互都增加了等待时间。

引入RDMA后的情况就像是在你和邻居的家之间有一个直接的传输带。邻居可以直接将你需要的餐具和配料通过这个传输带发送到你家,而无需邻居亲自动手,甚至无需他们注意到。这样,你就可以迅速、高效地获取你需要的东西,同时邻居也可以继续他们的活动而不被打扰。

不得不谈的InfiniBand

谈到RDMA,就一定“躲不掉”InfiniBand(英文直译:无限宽带,简称IB),InfiniBand 技术的起源可以追溯到 20 世纪 90 年代末,当时两个主要的高性能通信接口技术计划 —— Future I/O 和 Next Generation I/O —— 合并形成了一个新的标准,即 InfiniBand。

这一合并的动机主要是解决数据中心的扩展性问题,提高处理能力和网络通信速度,以应对互联网和电子商务的迅猛发展带来的挑战。

InfiniBand Trade Association (IBTA) 成立于 1999 年,由 Intel、IBM、Sun Microsystems 等行业巨头领导。IBTA 引入了 InfiniBand 概念并制定了 InfiniBand 架构的规范,这是一种通道化、基于开放标准的数据传输技术,旨在连接处理器、存储设备和网络设备,以提供高吞吐量和低延迟的数据传输。

技术演进2001年:InfiniBand 规范首次发布,标志着商用产品的开发和推广的开始。2000年代:随着高性能计算 (HPC) 领域的需求日益增长,InfiniBand 开始在大规模计算和存储网络中得到应用,特别是在科学研究和工程模拟领域。数据中心的采用:InfiniBand 由于其性能优势,逐渐被大型数据中心和云服务提供商采用,特别是在需要处理大量数据和实现快速数据交换的应用场景中。技术创新:InfiniBand 技术不断演进,从单数据速率 (SDR) 发展到双数据速率 (DDR),再到四数据速率 (QDR),并最终发展到更高的 EDR (Enhanced Data Rate) 和 FDR (Fourteen Data Rate),以及最近的 HDR (High Data Rate) 和 NDR (Next Data Rate)。关键应用和案例超级计算机:许多世界顶级的超级计算机采用 InfiniBand 技术,以满足其对高通信速率和低延迟的需求。企业级应用:随着企业对大数据分析和实时交易处理需求的增加,InfiniBand 在金融服务、电信和电子商务等行业中的应用也在增长。技术细节和优势主要特性:InfiniBand支持高吞吐量和极低延迟的数据传输。这主要得益于其高级的队列配对和端到端的流量控制机制。网络架构:InfiniBand采用通道化架构,通过高效的交换机和路由器实现精确的数据流控制,支持高达400Gbps的传输速率。应用场景:从传统的存储网络到最新的高性能计算,InfiniBand适用于需求极高的网络环境。Mellanox的精彩谢幕

Mellanox 在 InfiniBand 技术的发展和普及中扮演了关键角色,是InfiniBand硬件和软件产品的主要制造商之一。包括:

硬件产品:Mellanox 生产各种InfiniBand产品,包括主机通道适配器(HCA)、交换机、电缆和模块等。这些产品在建立高性能计算环境和数据中心中起着核心作用。技术创新与领导:Mellanox 被认为是InfiniBand技术的领先推动者之一,公司不断在推动InfiniBand技术的边界,例如开发更高速率的InfiniBand连接,包括EDR(Enhanced Data Rate,每秒100 Gbps)、HDR(High Data Rate,每秒200 Gbps)和NDR(Next Data Rate,每秒400 Gbps)。市场推广:Mellanox 通过其产品和解决方案在全球范围内推广InfiniBand技术,特别是在需要大规模、高性能数据传输的行业,如科研、金融服务和云计算。参与标准制定:Mellanox 在InfiniBand标准的制定和发展中发挥了积极作用。公司与其他行业领袖一起,通过参与InfiniBand Trade Association (IBTA),帮助定义和推动新的行业标准。教育和支持:Mellanox 提供广泛的支持和教育资源,帮助客户和合作伙伴最大限度地利用InfiniBand技术。这包括培训课程、技术文档和客户支持。

Mellanox Technologies 是一家以色列的高性能计算和网络技术公司,NVIDIA于2020年完成对Mellanox的收购,这一举措旨在加强NVIDIA在数据中心市场的竞争力,特别是在加速AI和ML工作负载、高性能计算(HPC)和网络连接方面。

Mellanox 的 InfiniBand 和以太网技术与NVIDIA的GPU技术结合,为建设下一代数据中心和云基础设施提供了强有力的支持。

通过这次收购,NVIDIA不仅强化了其在高性能计算领域的地位,还扩展了其在网络技术领域的影响力。InfiniBand技术继续在NVIDIA的大旗下发展,为需求日益增长的计算和数据处理任务提供支持。

IB Switch

随着云计算和大数据技术的兴起,数据中心的角色日益重要。InfiniBand作为一种高性能网络通信技术,在现代数据中心扮演着不可或缺的角色,尤其是在支持如ChatGPT等AI大模型的计算需求中。

!!!【点赞】、【关注】不走丢^_^

!!!【点赞】、【关注】不走丢^_^



0 阅读:0

龅牙兔谈科技

简介:感谢大家的关注