洞察数据温度|聚焦海量冷数据存储挑战与解决方案”

搞机荟 2023-12-29 12:58:41

为“数据”降本的背景:

信息爆炸的时代数据极速膨胀,数据存储与计算消耗的IT资源、能源日益增长。为了节省能源,例如我国推出了东数西算,腾讯把数据中心装进了贵州山里,微软把数据中心建在海底,“脸书”在犹他州雪山旁建立新数据中心。海底的数据中心建设从硬件、技术角度进行“数据成本”控制。从业务角度对膨胀的数据本身进行“冷热”分级管理,不仅有利于节约“计算成本”,也可以提高业务数据化运营效率。

好久不见,今天来聊个“冷”但又挺“火”的话题——冷数据存储(冷存储)

一、什么是冷数据?

冷数据是指较少被访问,但又因为行业要求需要长期保存的数据。这类数据存储量庞大且种类众多,如归档数据、合规性数据、备份数据、影视音文件等。这些数据继续存储在热数据、温数据活跃的存储介质中,成本高昂又容易降低效率。

通常情况下,冷数据的保存,多源于相关法规或公司内部政策的要求。然而,这种情况也在逐渐改变;越来越多的公司选择对冷数据进行保留,不仅仅是出于合规的原因,而是因为他们意识到,许多冷数据中,蕴藏着长远的战略价值,而这样的价值,还会随着时间的推移而变得更为丰富。 根据IBM《企业级存储2025 》调查报告中显示,“冷数据”这一类非活跃、非频繁需要的数据,占到了所有数据存储量的80%以上。

二、冷数据存储的必要性

伴随着企业数字化升级带来的数据剧增,数据越大,成本就越大,企业逐渐思考更高效的数据管理方案,不断解锁出冷存储的诸多优势:

【降低TCO】

对于不经常使用的数据,采用高成本的存储方式是不必要的,采用冷存储可以有效降低存储成本;

【高效】

采用冷存储可以将不经常访问的数据转移到备份存储介质中,让道热数据,减轻负载,优化低延迟环境;

【稳定】

一些行业有法律要求企业必须保存数据一定的时间,例如金融行业和医疗行业等。采用冷存储可以保证数据的完整性和可追溯性。

根据福布斯最近的一项行业调查,绝大多数(95%)的企业表示,有必要对自身所有的非结构化数据(冷数据基础)进行管理,超过40%的企业表示他们必须定期这样做。

三、可选择的“冷藏”途径有哪些?

到目前为止,大多数冷存储都包含在Tape或者机械硬盘(HDDs)上,热数据则是固态硬盘(SSDs)上。西部数据提供SSDs、HDDs系列产品,但次级存储的增长速度比主存储更快。据HorisonInformation Strategies称,目前所有数字数据中至少有60%可以归类为档案,到2025年,这一数字将达到80%或更多,使其成为迄今为止规模最大、增长最快的存储类型,同时也面临着下一个巨大的存储挑战。

Tape比HDD便宜,但是有更高的数据访问延迟,所以它是冷数据存储的好选择。如果数据的价值与访问和挖掘数据的能力有关,那么将数据存储在磁盘上与存储在磁带上有数量级的不同。

换句话说,数据可访问性增加了数据价值。HDD正在向下一代硬盘技术和平台发展,这些技术和平台为活动存档解决方案提供更好的TCO和可访问性。HDD技术的进步包括新的数据放置技术(即分区)、更高的面积密度、机械创新、智能数据存储和新材料创新。

四、冷数据存储HDD如何选择?

01成本支出

冷数据的性质,决定了用户更需要这部分数据保持在线、可搜索、可访问,能长期保存且正常调取便满足了存储的需求。冷数据存储到云服务时,会占用一部分云容量,而且当冷数据不断增加时,反而要考虑每月账单金额。对一些冷数据会增长的业务场景来说,云服务并不是性价比高的选择。

02数据安全

很多人会有一个误区,就是对不常用的数据掉以轻心,如随意存储、无效规划、不管理,再加上云服务平台自身的潜在性风险,数据越来越繁杂,一旦数据丢失或异常很难找回。没有建立良好的数据安全管理意识,一味使用云服务反而造成存储浪费、风险性加大。

在如何选择合适的冷存储方案上,企业更需要结合自身的业务需求、行业需求、政策法规需求等,对成本支出和数据安全有全面清晰的认知,并建立自身的冷数据存储策略。有些企业的业务场景适用云服务环境,而有些企业更适合机械硬盘本地存储。尤其对更加看重高性价比的中小微企业来说,HDD具备成本较低、容量充足、性能可靠的特质,是存储冷数据的不错之选。

在数据管理方面,西部数据UltrastarDC HC580 HDD、UltrastarDC HC680 SMR HDD分别可提供最高24TB和28TB的容量空间,凭借ePMR、OptiNAND™、UltraSMR等创新技术,西部数据一直在为高可靠性HDD产品的容量提升而努力,帮助超大规模云、云服务提供商和企业级客户获取更高的存储密度。西部数据Ultrastar企业级产品组合可以帮助企业数据中心进行冷数据存储,满足数据持续增长的需求,有效降低企业的运营成本。

其中,UltrastarDC HC580采用增强型的OptiNAND™技术,能够在有限的环境中更大限度地提升存储容量,HC580 HDD可以在4U 102盘位的平台中提供单机架612TB的原始存储容量,实现更高的存储密度。为企业繁杂的数据库提供妥善可靠的存储解决方案,帮助数据中心长期存储、调用、分析和保护企业核心数据,提升业务水平。

结语:

冷数据存储体系,不仅是存储日益增长的数据集的一种方式,其还可以帮助在组织内部,安全地控制这些宝贵的资产,并协助那些着眼于未来的项目,完成对冷数据的轻松检索。在这个全新的数据时代,越来越明显的趋势在于,即便数据在当前看来无法立刻产生价值,但我们也不能忽视它们。由于冷数据存储技术的全新进展,企业或组织不必再为了活跃数据而牺牲非活跃数据;无论他们是在寻求降低存储成本、抑或是增加数据价值,冷数据存储技术都是不容忽视的一环。

对此你怎么看,欢迎一起讨论。

(VX)mg-smile01

(QQ)2264531393

0 阅读:0

搞机荟

简介:爱搞机的直男