“去IOE”的另一条道路:数据库存算分离迈向新境界

创见科技未来 2024-03-20 06:46:43

每一场轰轰烈烈的变革,拉长时间去看,都可能得出与当初不一样的结论。鲁迅先生曾提醒,“不要把孩子和洗澡水一起倒掉”,但后人还是很难在革故鼎新的激情中始终保持理性。

十几年前,“去IOE”风潮渐起。国内互联网巨头在外部压力与自身成长的双重驱动下,逐步摆脱由IBM小型机、Oracle数据库、EMC高端存储构成的“铁三角”——以PC服务器为底座,通过自研数据库进行统一调度,以减少方案建设的成本和横向扩展的难度,最终实现全栈关键技术的自主创新。

不难看出,这种“去IOE”的方式具有颠覆性:既消除了对国外品牌产品的依赖,又以存算一体的架构替代了既有的存算分离架构。互联网厂商自身显然是最大的受益者,新架构为其后来的发展壮大奠定了坚实基础,并由此打开了云计算向上突围的天花板。

然而,存算一体架构带来的弊端也不容忽视。通用服务器、硬盘存在可靠性风险及性能、效率问题,而数据库软件独木难支,需要大量人工定位攻坚克难,导致业务不稳定性因素增加,运维及应用开发成本更是居高不下。据业内人士透露,某省级电信运营商采用类似互联网公司的“去IOE”方案后,每年的成本飙升上千万元。

那么,是否存在另一条道路——去掉“IOE”品牌,但保留存算分离架构,基于国产数据库、服务器及先进存储迈向存算协同的新境界?

华为数据存储产品线总裁周跃峰

在近日举办的华为中国合作伙伴大会2024上,华为数据存储产品线总裁周跃峰表示,在企业核心业务场景,华为将通过OceanStor Dorado全闪存和CANTIAN引擎,推动分布式数据库向“存算分离+统一存储”的多主架构升级。华为分布式数据库存储解决方案总监邵志杰也指出,数据库与存储需要走向深度合作,华为存储面向合作伙伴提供存算分离三大接口,助力中国数据库产业加速提升。

华为分布式数据库存储解决方案总监邵志杰

历史总是波浪式前进,螺旋式上升。此刻的存算分离拥有崭新的内涵,以存强算的壮阔蓝图已拉开序幕。

存算分离的演进轨迹与衍生价值

如果追溯存算一体与存算分离“相爱相杀”的历史,会发现二者都曾在IT产业特定的发展阶段扮演过主角。如今,存算分离再次成为新潮流的引领者,秉承的基因正是源自“IOE架构”。

在相当长一段时间里,融合数据库、计算、网络、存储等单元的IBM大型机堪称存算一体时代的王者,而上世纪90年代兴起的“IOE架构”改变了这一局面,以存算分离解决了当时的两大难题:一是避免单一厂商锁定,客户能获得计算、存储与数据库等层面更高水准的服务;二是在存储需求增速显著超越算力的情况下,存储必须走向池化、专业化,以应对海量数据爆发的严峻挑战。

显而易见,彼时存算分离架构打败的“怪兽”在当下依然存在,甚至因后来“PC服务器+数据库”架构的盛行而变得更难对付。邵志杰认为,“数据库和专业存储既是同根兄弟,也是亲密战友”,双方应该在存算分离架构下更紧密地协同合作,才能在数字化转型的深水区为客户的核心业务保驾护航。

对于传统行业的客户而言,缺乏技术和运维人员是常见问题,不可能像互联网大厂那样投入巨大资源开发和维护分布式数据库;与此同时,这些客户的业务重要性又非常高,无法承受因数据库故障造成业务中断的后果。此时,与其指望DBA们殚精竭虑,不如寄望于专业存储与数据库这对“黄金搭档”。

通俗地讲,即把数据存储的各种麻烦都交给专业存储。在一套专业存储构建的“池”中,可划分多个虚拟存储空间,分配给不同服务器使用,而数据库无需修改,就像用本地盘一样使用专业存储映射过来的存储空间即可。采用存算分离架构后,数据库可立即具备各种专业级存储能力,很多难题都迎刃而解,这是存算一体架构下不可能完成的任务。

探索中国版存算分离新架构的实践路径

既然存算分离架构的优势愈发明显,那么下一个问题就是——在充满不确定性因素的复杂环境中,自主创新变得越来越重要,我们是否有能力打造中国版的存算分离新架构?

经过多年的奋斗与积累,国内厂商已具备从服务器、网络到数据库、专业存储的全栈能力,且在千行百业数字化转型中得到广泛应用与验证,能够满足存算分离新架构对软硬件基础设施的要求。尤值一提的是,国产高端存储能力已达到业界顶尖水准,为数据库存算分离的真正落地创造了有利条件。

当然,这条路并不平坦,需要行业翘楚的率先垂范与产业链各环节的通力协作。作为国内存储市场的领导者,华为联合数据库伙伴不断攻克关键技术,在存储池化共享、同城零数据丢失容灾、数据库多写多读等领域取得丰硕成果。

在诸多应用场景中,结合存储技术提升数据库容灾能力和水平颇受关注。专业存储具有强大的复制误码检测、抖动自动检测及切换机制,通过将日志复制下沉到存储,可避免主库等待从库写入造成性能损失;若在数据中心设置一套容灾数据库集群,借助实时回放日志,能实现双集群容灾RPO=0的效果,达到金融核心级的容灾要求。

据了解,华为与南大通用、海量数据等国内领先的数据库企业基于存算分离架构,联合打造了同城零数据丢失容灾解决方案,实现同城双集群容灾、主备集群一写多读、数据0丢失、时延缩短20%+、链路抖动5秒恢复等目标,在金融、电信等核心行业得到高度认可。

从难度系数的角度看,数据库多写多读当属“皇冠上的明珠”,存储文件系统基于NFS+等技术的驱动可在这个领域大展身手。华为与优炫软件携手构建数据库多写多读集群,在故障快速接管、全局负载均衡等关键指标上取得突破;华为还与万里数据库联袂打造基于CANTIAN引擎的多写多读多主数据库,借助全局多写多读使性能提升2~10倍,并在大表性能防跌落、免分库分表改造等方面成果斐然。

携手伙伴迈向以存强算、存算协同的新境界

从某种意义上讲,构建数据库存算分离新架构更像是一场充满悬念的长跑,加入队伍的优秀伙伴越多,彼此的信心加持越强,遇到困难时携手突围的可能性就越大。

在华为中国合作伙伴大会2024上,华为存储发布三大存算分离合作方案,为产业伙伴勾勒出循序渐进的发展路径:阶段一即数据库存储池化,重点是规避慢盘导致数据库夯死、强化无损国密加密+快照保护;阶段二即数据库同城容灾,注重主备数据中心故障隔离、RPO =0/RTO<2分钟、复制链路防抖等核心指标;阶段三即数据库多写多读,致力于达成全局节点可读可写、大表性能无损等目标。

令人欣喜的是,华为与数据库产业伙伴并非孤军奋战,在监管单位、头部企业、行业用户共同推进下,存算分离已形成不可逆转的潮流。《中国软件根技术发展白皮书》、《金融业数据库创新发展报告》、《金融开放平台数据库转型白皮书》等重量级的产业研究报告,也将存算分离作为趋势导引或方案推荐,全栈国产化的新架构有望在主流行业加速渗透。

以更开阔的视角来看,国产数据库正处于全面商用的重要节点,充分利用存储领域已取得的成熟经验,进一步加强与存储厂商的联合创新,将有助于中国数据库产业迈上更高的台阶。放眼未来,存算分离只是起点,以存强算、存算协同才是更值得追求的新境界——华为与数据库伙伴们正全力奔跑,距离终极目标并不遥远。

0 阅读:3

创见科技未来

简介:感谢大家的关注