SanDisk将很快从Western Digital独立,并对未来有着远大的计划。该公司计划开发HBF(High Bandwidth Flash)技术,该技术将为人工智能加速器提供比目前使用的HBM(High Bandwidth Memory)更大的内存。

图像来源:SanDisk
这个想法可能听起来很荒谬,因为NAND闪存传统上比HBM核心DRAM慢得多。HBF旨在解决这个问题,并成为运行已经训练过的模型(输入)而不是训练神经网络的最佳解决方案。随着HBM世代的更替,可用内存量也在增加,AMD和Nvidia的加速器目前提供192 GB。SanDisk表示,HBF将帮助将这一数字提高8倍甚至16倍,价格类似。

该公司提供了两种场景,与传统的8个HBM堆栈相比,总容量为192GB。第一种选择是六个HBF芯片和两个HBM芯片。在这种情况下,总内存容量增加到3120 GB或约3 TB。在第二种情况下,考虑将HBM完全替换为HBF,这将为加速器提供4096 GB(4 TB)的内存。在这个范围内,您可以完全放置一个大型的Frontier语言模型,其参数为1.8万亿,大小为3.6 TB。在上面的例子中,一个HBM堆栈的容量为24 GB,而HBF的容量为512 GB(高出21倍以上),因为NAND闪存的密度更高。

在 HBF 图中,NAND 闪存芯片彼此堆叠并放置在逻辑芯片上。HBF 堆栈与 HBM 一样,安装在 GPU、CPU 或 Tensor CPU 旁边的中介层上,具体取决于需要内存的位置;该界面只需要 “微小的协议更改”。最主要的是,根据 SanDisk 的说法,HBF 提供与 HBM 相同的带宽。
在传统变体中,NAND 在带宽方面确实接近 DRAM,但在访问时间方面却极度损失。SanDisk 通过特殊的 NAND 架构解决了这个问题,将组件划分为具有更多数据线的多个区域,这意味着更快的访问和更高的性能。

HBF 架构是去年在“AI 领域主要参与者的影响”下在公司开发的。接下来,将成立一个技术顾问委员会,其中包括公司的合作伙伴和行业领导者;然后,将显示一个开放标准。2019 年,日本科学家提出了 HBN(High Bandwidth NAND)的概念,HBF 可能与它有一些共同点。与此同时,SanDisk 已经准备了一份路线图,描述了新一代此类内存 - 容量和性能都将提高。