DPU如何帮助计算?

袁遗说科技 2024-10-05 19:16:44

本文由半导体产业纵横(ID:ICVIEWS)编译自biztechmagazine

DPU允许企业从CPU和GPU上卸载网络功能,从而提高其他处理器的效率。

近年来,图形处理单元变得越来越突出,因为它们能够对现代人工智能应用所依赖的大型数据集执行复杂的计算。

尽管 GPU 确实正处于发展的鼎盛时期,但它们并不是企业处理能力工具箱中唯一重要的组件。

除了 GPU 和中央处理器之外,还有数据处理单元(DPU)。NVIDIA首席执行官黄仁勋表示: “CPU 用于通用计算,GPU 用于加速计算,而 DPU 负责在数据中心移动数据并进行数据处理。 ”

通过利用 DPU,IT 领导者可以优化其基础设施、提高性能并减轻 CPU 工作负载,使其成为现代数据中心和云环境中的关键组件。

什么是 DPU(数据处理单元)?它如何工作?

TIRIAS Research首席分析师Jim McGregor表示,思考 DPU 的最佳方式是将其视为“内部或间接工作负载加速器”。

他说,它的“设计目的是处理 CPU 通常需要处理的任务,例如安全性、网络处理或压缩”,并补充说网络处理通常仅指数据传输。

McGregor 表示,虽然 DPU 可以是完全可编程的单元,例如现场可编程门阵列,但大多数 DPU 本质上是“片上系统”(SoC),其核心模块针对特定功能进行了优化。

重要的是,他说,“它们都是独一无二的,不能互换。一家供应商的 DPU 可能具有与另一家供应商的 DPU 不同的功能和特性。”

IDC 支持技术团队网络和通信基础设施主管分析师Brandon Hoff表示,DPU 主要用于数据中心(特别是数据中心服务器)。DPU通常被超大规模云提供商广泛部署,例如Amazon Web Services、Microsoft Azure和Google Cloud。

Hoff指出,DPU 对于想要构建和使用“AI 工厂”的企业至关重要,“AI 工厂”是用于大规模开发、部署和管理 AI 应用程序的标准化环境。“AI 工厂需要一种调度结构,以便 GPU 之间相互通信,而 DPU 可以做到这一点,”他说。“这就是许多超大规模企业开始使用 DPU 来构建调度工厂的原因。”

DPU 有哪些功能?

McGregor 表示,安全、网络、存储和人工智能分析是 DPU 最常见的功能。

DPU 的一个关键功能是将 GPU 联网,使它们能够更高效地传输数据。Hoff 指出,GPU 的硅片上只能容纳有限的晶体管数量。

“因此,你将它们连接到一个扩展网络和扩展网络中,而 DPUS 正在使用扩展网络,”他说。Hoff 指出,GPU 将处理信息,然后停止并共享该信息,而用于该网络和数据传输的时间可能占总计算时间的 50%,这意味着它们的运行效率只有其应有的一半。

DPU 可从 GPU 上卸载该功能,从而使 GPU 更加高效。“这就是联网如此重要的原因,拥有一个可以保证交付和吞吐量的调度结构也很重要,”Hoff 说道。

Hoff说,将 DPU 与以太网上的标准交换机配对,使企业能够创建“几乎无损的高性能结构”,这意味着网络可以在几乎没有数据包丢失的情况下传输数据。

DPU 与 GPU、CPU:有什么区别?

“DPU与CPU和GPU完全不同,因为它们也被称为片上系统、专用集成电路,专为一组特定的功能而设计,”McGregor 说。

McGregor 表示,CPU 的设计遵循一套特定的指令集,可完全编程以实现各种功能。它们是现代计算的支柱,可处理操作系统和应用程序的各种计算任务。

McGregor 说:“GPU 是为图形和多媒体处理而设计的,但越来越多地具有特定于 AI 的核心,因为它们的大规模并行化使它们非常适合AI 处理。”

Hoff指出,GPU 能够高效地执行生成式 AI 大型语言模型中推理所需的计算,从而节省组织的时间和能源成本。

Hoff说:“DPU 位于基础设施方面,我可以在那里加速网络”,以实现预定的结构、安全性、加密和存储连接。

DPU 有哪些好处?

DPU 可卸载 CPU 的网络和存储功能,从而让其能够运行更多应用程序。“它们可以更无缝地运行应用程序,而不必担心在发送数据时出现问题,”Hoff 说道。

DPU 的主要优势在于可用于基础设施。具体来说,可用于数据中心服务器。Hoff 表示,DPU 还可以简化数据中心架构。

“对于混合云,它让我的应用程序可以在服务器上以裸机或接近裸机的速度运行,”他说。“所以我不必再担心虚拟机管理程序了,我已经卸载了很多虚拟机管理程序服务。”

“现在,我可以开始真正改善我的混合云部署,无论是在云端,还是在我的数据中心内,或者任何我想要放置这些工作负载的地方,”Hoff补充道。

*声明:本文系原作者创作。文章内容系其个人观点,我方转载仅为分享与讨论,不代表我方赞成或认同,如有异议,请联系后台。

0 阅读:3

袁遗说科技

简介:感谢大家的关注