《IBM:用光训练AI模型,超级节省能源》

中关村在线 2024-12-11 10:13:58

IBM宣布开发出一种新的光学技术,能够以光速训练AI模型,并显著节省能源。该公司表示,将这项突破应用于数据中心后,训练一个AI模型所节省的能源相当于5000个美国家庭一年的能源消耗。

IBM解释称,虽然数据中心通过光纤电缆与外部世界连接,但内部仍然使用铜线。这些铜线连接着GPU加速器,在等待来自其他设备的数据时会有大量时间处于空闲状态,同时消耗能量并推高成本。

随着生成式AI对更多能源和处理能力的需求增加,数据中心必须进化。共封装光学技术(CPO)可以使数据中心面向未来。通过这一突破,未来的芯片将像光纤电缆进出数据中心传输数据一样进行通信,从而开启一个更快、更可持续的通信新时代,并能处理未来的AI工作负载。

IBM在一篇技术论文中概述了其新的CPO原型。通过显著增加数据中心的带宽,可以最大限度地减少GPU的闲置时间,从而加速AI处理。大型语言模型(LLM)的训练时间可以从三个月缩短到三周。同时,更高的能源效率将降低能源消耗,并减少与训练LMM相关的成本。

0 阅读:2