持续的需求压力如何推动存储技术发展

给科技置顶 2025-02-21 09:45:57
存储技术一直处于变革之中,从底层存储介质到访问驱动器存储的新方式,再到专门的大语言模型数据库,都在不断发展。工作负载需要更多数据、更快的访问速度,同时还要降低成本。正是这三大压力推动了 18 项重要的存储技术发展,使得我们能够存储更多数据,并且更快、更经济地访问这些数据。 从存储介质层面来看,Solidigm 在 2023 年 7 月推出了使用 QLC NAND 的 P5336 61.44TB 固态硬盘,开启了超大容量 SSD 时代。随后三星也在去年 7 月推出了同样使用 QLC 闪存、容量为 61.44TB 的 BM1443。但 Solidigm 和 Phison 在 11 月又把竞争推向了新高度,都推出了 128TB 级别的 SSD (实际容量 122.88TB)。Solidigm 采用 PCIe gen 4 总线,而 Phison 选择了更快的 PCIe gen 5。当然,Pure Storage 凭借其专有闪存驱动器提供 150TB 容量,并在路线图中规划了 300TB 的产品。 Western Digital 旗下即将分拆的 Sandisk 提出了高带宽闪存 (HBF) 概念,这种技术可以让大容量 NAND 更接近处理器。它通过将 NAND 芯片堆叠在一个中介层上方,像高带宽内存一样连接到 GPU 或其他处理器。 PLC (五级单元) NAND 虽然每个单元可存储 5 比特数据,但目前尚未商业化。3D NAND 层数已突破 300 层,使用 QLC (4 比特/单元) 技术就能提供足够的容量增长空间。 如果 3D DRAM 能够商业化,处理器将可能突破内存容量限制。这一领域的研发项目正在增多,比如 Neo Semiconductor 的项目。Computer eXpress Link (CXL) 技术也在快速发展,让处理器能够访问共享的外部内存池,UnifabriX 和 Panmnesia 就是例证。我们正在等待 PCIe gen 5、gen 6 总线和支持 CXL 的系统软件广泛应用。 不过,CXL 外部内存池技术可能会像可组合系统一样难以进入主流市场,因为其实际收益可能并不显著。 传统硬盘市场也在向热辅助磁记录 (HAMR) 技术过渡,单碟容量将超过 3.2TB。这需要新的磁记录介质配方,以在室温下稳定保持极小的位区域数据,并需要激光加热来降低磁极性改变的阻力。Seagate 经过多年开发后已开始向 HAMR 过渡,Western Digital 也表示将在一年内迁移到 HAMR 技术。据了解,第三大硬盘制造商东芝也将跟进。 根据 Western Digital 的预测,未来几年硬盘容量将突破 40TB,到 2030 年仍将保持比 SSD 低 6 倍的总拥有成本优势。 新型激光写入存储技术正在开发中,使用玻璃或陶瓷盘片,有望提供比磁带更快的归档数据访问速度,且寿命更长。Cerabyte 开发的陶瓷盘片技术获得了 Pure Storage 的投资,此外还有 Optera 的荧光存储技术和 Folio Photonics。虽然磁带在 LTO 路线图中仍有容量提升空间,但目前只有 IBM 一家磁带驱动器制造商。总的来说,磁带是一项相对保守的传统技术,如果这些激光写入技术取得成功,可能会对磁带市场造成冲击。 在文件级别的 SSD 数据访问已经通过 Nvidia 的 GPU Direct 协议得到加速,数据可以通过 RDMA 直接从驱动器传输到 GPU 服务器的内存中,无需经过存储阵列控制器或 x86 服务器 CPU。现在这项技术也应用于 GPUDirect for Objects,有望让对象存储 SSD 系统中的数据可用于大语言模型的训练和推理。Cloudian、Scality、MinIO 等供应商都在推进快速对象数据访问,VAST Data 也在这方面发力。 这可能会促使一些对象存储系统从 HDD 迁移到 SSD 存储。 VAST Data 开创了一种新的横向扩展存储阵列架构:分离共享一切 (DASE),将控制器和存储节点通过 NVMe 结构分离,所有控制器都能访问所有驱动器。HPE 推出了自己的 DASE 版本 Alletra MP X10000。Quantum 的 Myriad OS 是类似的阵列软件,NetApp 则有用于 AI 开发的内部 ONTAP Data Platform。 这类系统的扩展性远超集群,能提供高性能。例如,使用并行 NFS 可以达到并行文件系统的性能速度。 另一个存储发展趋势是键值存储技术向传统存储协议(如块存储、文件存储和对象存储)扩展。HPE (X10000 软件) 和 VAST Data 在这一领域很活跃。理论上,这种系统可以在 KV 引擎之上添加任何数据访问协议,比直接在对象存储上实现一个或多个访问协议提供更快的数据访问速度。Ceph 就是一个典型例子。 公有云块存储正通过临时实例获得加速,Silk 和 Volumez 提供软件来实现这一目标。Silk 最为成熟,专注于加速云中的 Oracle 等数据库。Volumez 最近强化了对生成式 AI 场景的支持。第三家云块存储创业公司 Lucidity 致力于动态优化云块存储并降低成本。 GPU 服务器访问存储数据的速度正通过将数据从共享外部存储移至 GPU 服务器的本地驱动器(即所谓的零层存储)来提升。这些驱动器中的数据加载到 GPU 服务器内存的速度比从外部存储阵列更快。Hammerspace 大力推广这一概念,Microsoft Azure AI 超级计算机也采用这种方式,将检查点数据写入这些驱动器。 Hammerspace 是数据编排的一个典型案例。在数据编排中,文件或对象数据通过全局命名空间向数据中心、远程站点或边缘设备提供访问,使用分布式元数据和缓存使远程数据访问看起来像本地访问。Arcitecta 是另一家数据编排软件供应商。我们预计数据管理供应商(如 Komprise)和云文件服务提供商(如 CTERA、Nasuni 和 Panzura,它们源自早期的同步共享协作软件技术)也将进入这一领域。 我们看到向量数据库存储正在兴起,它存储非结构化数据项(如词片段和单词、图像部分、视频和音频记录)的多维哈希值(向量)。大语言模型在语义搜索中使用这些向量,专门的向量数据库供应商如 Pinecone 和 Zilliz 已经成立。他们声称提供最优的功能,而 SingleStore 等多数据类型数据库供应商由于无法将所有精力集中在优化向量访问上而存在局限。 AI 数据管道技术正在开发中,用于查找、选择、过滤数据并将其输入大语言模型进行训练和推理。包括 Komprise、Hammerspace 和向量数据库公司(专门和多类型)在内的许多供应商都在开发这种功能。 可以看出,AI 正在改变存储行业。它影响着备份供应商,因为他们庞大的备份数据可以成为组织的检索增强生成 (RAG) 影响下的大语言模型的重要资源,这些模型旨在使通用训练的大语言模型适用于专有数据源,并降低产生不准确响应(幻觉)的可能性。 Commvault、HYCU、Rubrik、Salesforce、Veeam 等多家公司正在开发和推广 SaaS 应用数据备份,我们认为这一领域将持续增长。 另外两个正在进行但速度较慢的发展是分散式存储或 Web3 存储,即本地数据中心的闲置存储容量可以提供给公有云存储公司,后者以比主流公有云存储(如 AWS S3 或 Azure Blob)低得多的价格销售。Storj 和 Cubbit 等供应商在这一领域很活跃。 最后,数据保护行业可能开始出现整合迹象,如 Cohesity 收购 Veritas。我们强调"可能"。 存储行业正在多个方面快速发展,因为需要存储的数据量在不断增长,成本也在上升,访问速度始终是处理器工作的瓶颈。正是这三大压力造成了持续的需求,推动企业改进和重新发明存储技术。
0 阅读:0
给科技置顶

给科技置顶

感谢大家的关注