作者|贾桂鹏
近年来,人工智能技术的发展速度令人瞩目。无论是在科研领域的突破,还是在实际应用中的广泛推广,人工智能正以前所未有的速度改变着我们的生活。
其中,算力的提升无疑是人工智能得以迅速发展的关键因素之一。从传统的中央处理器(CPU)到专门为深度学习优化的图形处理器(GPU)再到近年来涌现的专用集成电路(ASIC)和神经网络处理器(NPU),计算硬件的进步极大地提升了机器学习算法的执行效率和处理能力。
然而,支撑人工智能发展的不仅仅是算力的飞速提升,还有存储技术的革命性进步。如果说算力是人工智能发展的发动机,那么存储技术则是承载这一切的基石。人工智能的发展离不开海量数据的支撑,而数据存储技术的进步则为其发展提供了坚实的基础。
在此背景下,科技旋涡有机会采访到中科曙光存储运营总监石静,与她一起探讨了人工智能飞速发展下存储技术有哪些革新,以及作为国内头部存储厂商曙光存储如何通过新技术赋能各行业实现智能化升级。
(中科曙光存储运营总监石静)
人工智能时代,存储的价值逐步提升
人工智能的发展离不开数据。数据是训练人工智能模型的“燃料”,没有足够的数据,任何AI系统都无法实现精准地预测和决策。然而,随着人工智能技术的不断成熟,数据的数量和复杂性也在飞速增长,这对存储系统提出了前所未有的挑战。如何高效、可靠地存储和管理这些海量数据,成为人工智能系统成功的关键因素。
现代人工智能应用,例如大规模的深度学习模型训练,需要处理和存储海量数据。人工智能模型训练的效率不仅依赖于强大的算力,还依赖于存储系统的性能。高性能的存储系统可以确保数据的快速访问和高效处理,减少训练时间,提升模型的精度和效果。与此同时,存储的可靠性和数据保护能力也成为人工智能应用成功的关键要素。
石静表示:“人工智能技术爆发后,我作为存储从业者欣喜地发现数据存储的重要性比以前有了很明显的提升。”
她继续介绍道,之前面对企业客户时,他们更多地在意能购买到多少的算力,而对于存力则只关心容量,然而在人工智能技术发展后,企业发现存储支撑不到位的话,购买更多高配置的GPU服务器、AI服务器也发挥不出来其应有的效果。
确实如此,随着存储产品重要性的提升,各个行业对于它的需求就不仅仅是容量的提升,而是在性能、稳定性、可管理性、能耗等各方面都有了全新的要求。
比如在性能方面,众所周知,人工智能模型的训练和推理需要处理大量数据,高速的存储系统能够显著减少数据访问的延迟,提高整体系统的效率。例如,NVMe SSD的引入,使得数据的读写速度大幅提升,确保了AI任务在高负载下的稳定运行。
在此基础上,曙光存储于2024年6月25日,升级了分布式存储产品——ParaStor全闪存储。新一代ParaStor依托NVMe全闪的技术优化,单节点带宽最高达到150GB/s、320万IOPS、单流10GB/s。
作为AI存储加速利器,升级后的ParaStor全闪存储具备五级数据加速技术,包括本地内存加速、BurstBuffer加速层、XDS双栈兼容、网络加速与存储节点高速层,搭配全路径AI亲和机制,让数据无需等待。
ParaStor支持数据分层存储和智能数据调度功能,能够根据数据的访问频率、业务优先级等动态优化存储资源的分配。例如,热数据可以存放在速度更快的全闪存区域,而冷数据则可以转移到成本更低的存储介质上。这样不仅提升了整体性能,也减少了存储成本,增强了系统的智能化管理能力。
另外,对于深度学习和大数据分析等智能化应用来说,存储系统必须具备高度的扩展性。ParaStor采用分布式架构,能够随着数据量的增长线性扩展存储容量和性能,支持多种规模的企业在数据爆发的情况下保持系统的高效运行。这种可扩展性使其能够应对未来更加复杂的数据和智能化需求。
值得关注的是,ParaStor分布式全闪存储广泛支持国内外算力技术生态,包括国产平台、X86和ARM等。
在同一天,曙光存储还发布的全球首个亿级IOPS集中式全闪存储产品——FlashNexus,石静在谈到这款产品时也很兴奋,她表示:“这个产品的性能革新是划时代的。”
FlashNexus集中式全闪存储与曙光分布式全闪存储完全技术同源,这也意味着,曙光存储的集中式和分布式两款产品的数据打通有了最基本的保障。
石静表示:“因为曙光集中式存储和分布式存储这两款产品是同根同源的,为了做到资源最高效合理化,我们就需要把两个产品壁垒打通,所以,曙光存储在集中式存储产品研发的过程中,会设计兼容分布式。”
而且,面对不同类型数据及存储方式,曙光存储还提出“通存”方案,基于同根同源的集中式存储资源池与分布式存储资源池,带来跨形态热温冷数据无感流动,跨域资源池全维度视图,真正实现数据无界流动,打破数据孤岛。
我们可以理解,“通存”方案打破了传统存储形态的壁垒,实现了数据在集中式、分布式、云存储资源池之间的自由流动,极大提升了资源池的利用率,降低了用户的数据拥有成本。从这一方案中,我们看到了曙光存储对数据要素流通的深刻理解。
科技旋涡认为,随着人工智能应用的不断深化,存储不再仅仅是数据的“仓库”,而是整个AI体系中的核心组成部分。它不仅支持着算力的运转,还直接影响着AI系统的性能、效率和可靠性。存力价值的逐步体现,正成为推动人工智能技术进步的重要力量。
总之,人工智能技术的迅速发展,不仅是算力崛起的结果,更是存力飞跃的体现。只有在这两者的共同驱动下,人工智能才能在未来的道路上行稳致远,为各行业的发展带来更多的机遇和可能性。
人工智能给存储技术带来的变革
人工智能不仅依赖存储技术的发展,也通过其自身的进步赋能存储行业,推动存储系统向智能化和自动化方向发展。石静提出了“AI for Storage”和“AI in Storage”这两个概念,分别代表了AI技术对存储行业的双向推动力。
首先,“AI in Storage”指的是将人工智能技术集成到存储系统中,以提升存储系统的智能化水平。通过引入人工智能算法,存储系统可以实现自我学习和优化。
例如,人工智能可以通过分析存储设备的使用模式,提前预测硬件故障,从而实现智能预警,帮助用户在问题发生前进行干预,降低数据丢失或系统中断的风险。此外,人工智能还可以通过优化数据的存储路径,动态调整数据分布,提升存储系统的整体效率。
我们看到,曙光存储通过将人工智能算法集成到存储系统中,实现了智能预警功能。传统的存储系统只能在硬盘出现明显问题时(如坏道)进行警告,而人工智能系统可以通过自学习算法,提前监控硬盘的使用情况,预测潜在问题,甚至提前调整数据分布,以避免热点区域过载。这种智能化管理极大地提高了存储系统的可靠性。
其次,“AI for Storage”则是指人工智能技术的发展对存储行业的推动作用。人工智能的发展使得数据的规模和复杂性急剧增加,传统的存储架构难以应对这些挑战。为了满足人工智能应用的需求,存储系统需要具备更高的性能、更强的扩展性以及更好的数据管理能力。
人工智能赋能存储不仅体现在故障预测上,还在于资源调度的智能化。例如,通过人工智能算法,存储系统能够根据硬盘或其他存储设备的使用情况,动态调整资源的分配。这意味着,系统可以根据实时数据访问的冷热程度,智能地将数据请求分配到适合的存储介质上,从而优化存储性能,提升用户体验。
而且,人工智能的自学习能力还可以应用于网络、CPU、内存等存储系统的关键资源管理。通过这些算法,存储系统能够在全局范围内优化资源使用,确保各个组件的性能都得到最大化地发挥,从而提高整体存储系统的效率。
除了在技术性能上的提升,曙光存储还注重在绿色节能和可持续发展方面的探索。随着人工智能技术的应用,存储系统的能耗问题日益凸显。曙光通过引入液冷技术、大容量SSD、高密度硬件设计等方式,显著降低了存储系统的能耗。
石静介绍道:“通过冷板式液冷方式,大大降低了系统的能耗。液冷技术使得单个节点的PUE(电源使用效率)从1.4降到1.2甚至更低。”
除了液冷技术,曙光还通过智能化的软件管理,实现了存储系统的节能优化。具体措施包括根据数据的冷热程度,对不常访问的数据所在的存储节点进行休眠或降低能耗。当这些数据需要被访问时,系统可以立即恢复正常工作状态。这种精确控制存储设备运行状态的方式,进一步减少了不必要的能耗。
此外,曙光还采用了数据压缩和重删技术,以减少存储需求,从而降低整体能耗。通过对存储数据进行压缩和重删,可以有效减少实际存储的数据量,进而减少存储介质的使用。这不仅节省了存储空间,还减少了存储设备的功耗,尤其是在视频领域和遥感测绘领域,这些技术的效果尤为显著。
科技旋涡认为,人工智能的发展推动了存储系统的技术进步,要求存储系统具备更高的性能、更强的扩展性和更智能的数据管理能力。为了满足人工智能应用的需求,存储系统需要提供高效的数据读取、写入和管理能力。人工智能技术还推动了存储系统从硬件到软件的全面深度优化,比如通过更高效的硬件设计和智能化的软件算法,提高存储系统的整体性能。
存储技术赋能各行业发展
曙光存储通过其领先的技术创新,不仅在产品性能上取得了突破,还在多个行业中实现了广泛的应用与赋能。曙光的存储解决方案已经在自动驾驶、金融、科研等领域中得到广泛应用,帮助各行业实现了智能化转型。
比如在自动驾驶领域,自动驾驶系统需要处理大量来自各种传感器的数据,这些数据的实时处理和分析直接关系到车辆的安全性和用户体验。
另外,在自动驾驶过程中,尤其是在训练自动驾驶算法时,存储系统需要提供极高的带宽和极低的时延,以保证数据的快速处理和模型的高效训练。同时,系统的稳定性至关重要,必须能够在关键时刻提供稳定的性能输出,以避免安全事故。
曙光存储通过高带宽、低延迟的数据存取能力,确保了自动驾驶系统在关键时刻能够作出快速响应,保障了自动驾驶的安全性和稳定性。
石静表示:“曙光存储为自动驾驶提供了高性能的存储解决方案,帮助其构建后端资源池,支持自动驾驶模型的训练和推理。”
在金融领域中,人工智能技术被广泛应用于智能对话机器人、OCR识别等场景。这些应用需要强大的数据处理能力和高效的存储系统支持,以保证系统在高并发和高吞吐量环境下的稳定运行。
石静介绍道:“曙光的存储系统能够处理大量数据,支持金融机构在各种AI应用中保持系统的稳定性和效率。”
而且,由于行业的特殊性,金融领域对数据的管理和安全性有着严格的要求。曙光存储不仅提供了高性能的存储解决方案,还通过智能化的数据管理功能,帮助金融机构提高数据管理的效率和安全性,确保数据的完整性和保密性。
除此之外,曙光存储的产品与解决方案,还在很多行业得到了广泛应用和验证。从助力中国移动新型智算中心承载海量数据,到与中国石油共同构建云计算资源池,曙光存储以其高性能、高稳定性的存储产品,成为各行业数字化、智能化转型的重要支撑。
科技旋涡认为,作为数据处理的基石,存储系统不仅为人工智能应用提供了坚实的支持,还通过自身的智能化和绿色化发展,不仅推动了整个科技领域的进步,还赋能各行业在智能时代的发展。
未来,存储技术将继续引领科技发展的潮流,为各行各业提供更加高效、智能和可持续的解决方案。通过不断地创新和优化,存储技术将为中国乃至全球的科技进步贡献更多的力量。
写在最后
随着人工智能时代的来临,存储行业的重要性日益凸显。通过采访我们了解到,曙光存储正在不断地进行技术创新和产品优化,从而引领存储行业的发展潮流。通过高性能的存储解决方案,曙光存储不仅满足了人工智能技术对存储的苛刻要求,还在多个行业中实现了深度赋能,为人工智能技术的广泛应用提供了坚实的基础。
我们期待,随着人工智能技术的进一步发展,曙光存储在更多领域中发挥更大的作用,助力各行各业迈向数字化、智能化的新高度。