智能世界前夜,不妨多些存储猜想

因为科技是阴天 2024-03-08 02:33:16

想来想去,还是感觉“大模型”们不够智能。不说圣人已达到知行合一的境界,聪明人聪明到一定段位,也能一点就通地触类旁通。但“大模型”不行,他比较勤奋,但没那么灵,他的认知水平提升,始终高度依赖于海量数据。从90%到91%的进步,“大模型”需要学习的数据量还可能要增加10倍,甚至100倍。

数据基础设施的新要求

又进一步想来想去,感觉智能世界一直跟存储设备较劲。GPT-3使用了45TB数据进行训练,而且当时他还很挑食,只知道吃本文数据。或者,还有近在眼前的事情,自动驾驶算不算近,智能驾驶卡车的存储容量需求在1TB~2TB之间,智能驾驶出租车的配置更是达到4TB。

智能制造和智慧医疗应该也不算远。一家算的上智能的工厂每年将产生超过10PB数据。在智慧医疗领域,数据量每年也在以48%的速度增长。而这些智慧计算时代的典型应用场景,正对数据基础设施提出了新要求。

“计算力是生产力,智算力是创新力,数据就是核心生产要素。”浪潮发布新一代分布式融合存储AS13000G7,浪潮信息存储产品线总经理李辉就是以智慧计算切入到存储产业的未来,这也代表了浪潮对存储产业的基本判断——“极致存储、智慧有数”。

更进一步。

在“极致存储、智慧有数”的基本判断之上,浪潮又进一步延伸形成对数据和存储的四个核心观点:多模态数据和原生态数据,将广泛应用于数据训练;软硬一体的分布式融合存储,将成为市场主流;数据中心将走向“四个解耦”;分布式融合存储在打通任督二脉后,将成为数据中心的“存储基座”。

确实如此。

AIGC产业爆发式增长,以及智能驾驶、智能制造、智慧医疗等应用场景的不断涌现,将产生TB级乃至PB级文本、图像、音频、视频等多态数据,这对数据训练和数据推理,都将提出新的需求。

挑战也由此而来。

“TB级文本、百TB级图片、PB级音视频等的多模态、原生态数据,会带来百GB/s带宽、毫秒级响应和亿级接入挑战;数以亿计的月活用户,以及海量终端的接入,也会对时延等存储核心指标提出更大的挑战。”浪潮信息存储产品线副总经理刘希猛说。

软硬一体的专业存储

但上述挑战好像都是小意思,至少浪潮不会束手无策。AS13000G7采用极致融合架构设计理念,在业界率先实现了4种非结构化协议的无损访问,实现多元场景的“All In One”。数据存力由此提升300%,IO性能提升100%,融合存储空间利用效率提升200%,硬盘利用率高达94%。

究其原因,这首先得益于浪潮分布式融合存储“软硬一体化”的设计思路。或者说,在分布式融合存储定义“纯软件”、“软件+通用硬件”、“软件+定制硬件”的三大技术流派,浪潮更倾向认为,“软硬一体”的后两种技术流派,拥有更大市场空间。

想想也是,苹果手机就是典型的软硬一体设计,SpaceX公司的星舰(Starship)也是典型的定制化“软件+硬件”设计思路,甚至星舰(Starship)的软件是定制的,曾经被嘲笑的“不锈钢”外壳,其实也是定制的。

浪潮也更看好软硬协同的设计方向,除了因为“软件代表当下实力,硬件代表发展潜力”。“也因为数据中心架构正在从紧耦合走向松耦合,”李辉所说就是数据中心的“四个解耦”——云数解耦,数据与平台分离;云存解耦,软硬一体专业存储;存算解耦,存储与计算分离;资源解耦,数据分类存储。

或者说,数据中心将被打散重构,形成计算资源池、存储介质资源池、网络互联的资源池。这也意味着,只要分布式融合存储在高可靠、高可用、高性能等方面展现出更高的企业级能力,必然会在未来的数据中心架构中挑大梁。

何止是打通任督二脉

浪潮就是以此为目标做出了产品。得益于盘控协同,相比上一代产品,AS13000G7的性能提升40%;得益于业内领先的32+2大比例纠删、智能均衡、压缩重删、多源零拷贝、软拷贝等智能容量算法,AS13000G7的存储空间利用率达到94%以上。

但这还不是重点,就像打通任督二脉的武林高手。AS13000G7在软件方面实现了“协议互通”,在硬件方面实现了“资源互通”。

面对海量非结构化数据,其实,上一代产品AS13000G6,也已在强调“协议互通”。浪潮当时就已实现文件、对象、大数据三类存储协议转换的任意访问。而在此基础上的AS13000G7,更是实现了文件、对象、大数据、视频四类协议的无损协议互通,以及数据及时共享。

这就像一个人同时拥有多个国家的护照,可以随时自由往来全球各地。“协议互通”也使不同非结构化的存储服务间,可访问同一份数据。如此做法加速了数据处理速度,以及增强了数据流动性。

而且这样做,既可实现多样性数据就地分析,提升数据分析效率,也可避免数据拷贝产生的冗余副本,提升存储资源利用率。尤其对自动驾驶的路线决策,电商平台的精准营销,智慧医疗的线上问诊等应用场景,具有决定性推动意义。

除此之外,“资源互通”也很有实际意义。浪潮AS13000G7实现了闪存、磁盘、磁带、光盘四种介质互通,支持全生命周期管理,数据在热、温、冷、冰四级存储间自由、高效流动。

这就好比,当天穿的衣服一定是放在手边床头;当季的衣服一定是放在衣柜C位的格子里;过季的衣服则放在收纳箱,而那些面临淘汰有不舍得扔的衣服,可能就撇在衣柜里不起眼的位置。

只不过,AS13000G7除了可以“收纳衣服”,还可以“管理衣服”。除了区分热、温、冷、冰四级存储,AS13000G7还可以按照数据热度自动迁移,降低数据管理复杂度;弹性选择各类资源,按需配备,节省整体投入。

更重要的是,软件方面的“协议互通”、硬件方面的“资源互通”,使AS13000G7的能力更均衡。这正如新能源汽车领域的比亚迪,全球销量第一的产业地位,就得益于其既做电机、又做电池。

浪潮也是如此思路,“分布式融合存储的继续发展,必然会成为数据中心‘存储操作系统+存储基座’的形态,”李辉最后说:“实现‘协议互通’和‘资源互通’,才能更好地以一套存储架构,支撑一个数据中心。”

0 阅读:0

因为科技是阴天

简介:感谢大家的关注