研究人员为节能生成式AI开发自旋电子学平台

量子力学的梦 2024-12-15 04:54:38

(a) 由五个二进制概率位 (p-bits) 组成的高斯概率位 (g-bit) 的配置。具有随机自旋电子学设备和 FPGA 的概率计算机原型的照片。(c) 各种均值和标准差 (sigma) 的高斯随机数的测量结果。图片来源:Shunsuke Fukami 和 Kerem Camsari

东北大学和加州大学圣巴巴拉分校的研究人员开发了新的计算硬件,该硬件利用了由随机自旋电子学器件制成的高斯概率位。这项创新有望为耗电的生成式 AI 提供一个节能平台。

随着摩尔定律的放缓,特定于领域的硬件架构(例如具有自然随机构建块的概率计算)在解决计算难题方面越来越受到重视。与量子计算机适用于解决植根于量子力学的问题类似,概率计算机旨在处理固有的概率算法。

这些算法在组合优化和统计机器学习等领域都有应用。值得注意的是,2024 年诺贝尔物理学奖授予了 John Hopfield 和 Geoffrey Hinton,以表彰他们在机器学习方面的开创性工作。

传统上,概率计算机仅限于二进制变量或概率位 (p-bits),这使得它们对于连续变量应用程序效率低下。来自加州大学圣塔芭芭拉分校和东北大学的研究人员现在通过引入高斯概率位 (g-bits) 扩展了 p-bit 模型。这些补充了 p 位,具有生成高斯随机数的能力。与 p 位一样,g 位也是概率计算的基本构建块,支持使用连续变量进行优化和机器学习。

一种受益于 g-bits 的机器学习模型是高斯-伯努利玻尔兹曼机 (GBM)。g 位允许 GBM 在概率计算机上高效运行,为优化和学习任务解锁新的机会。例如,当今的生成式 AI 模型(例如扩散模型)(广泛用于创建逼真的图像、视频和文本)依赖于计算成本高昂的迭代过程。G-Bits 使概率计算机能够更有效地处理这些迭代阶段,从而降低能耗并加快高质量输出的生成速度。

其他潜在应用包括投资组合优化和混合变量问题,其中模型必须同时处理二进制变量和连续变量。传统的 p 位系统难以完成此类任务,因为它们本质上是离散的,并且需要复杂的近似来处理连续变量,从而导致效率低下。通过组合 p 位和 g 位,克服了这些限制,使概率计算机能够直接有效地解决更广泛的问题。

该研究在第 70 届 IEEE 国际电子器件年会上发表。

更多信息:Nihal Sanjay Singh 等人,超越 Ising:使用随机 MTJ 的高斯概率位进行混合连续优化。第 70 届 IEEE 国际电子器件年会:iedm24.mapyourshow.com/8_0/ses ...s.cfm?计划 ID = 418

0 阅读:0

量子力学的梦

简介:感谢大家的关注