近日,火山引擎数智平台(VeDI)正式发布《数据智能知识图谱》(以下简称「图谱」),内容覆盖了包括数据存储计算、数据分析加速、数据研发治理、数据洞察分析,数据辅助决策、数据赋能营销等企业数据全生命周期的管理与应用。
关注「字节跳动数据平台」微信公众号,输入「图谱」即可获得高清内容
更强劲的数据基座能力
随着企业数字化转型的需求愈加强烈,数据存储计算作为转型最底层的基座也更加受到关注。过去,传统湖仓一体时常发生数据源数据入湖时效性差、多源数据管理难等问题;而在批流一体方面,由于批流存储引擎不统一导致批流任务分开处理、数据存储浪费,以及单一Flink实现复杂的业务逻辑,运维和回溯成本高等问题也令企业头痛不已。为了帮助企业更好解决这些问题,火山引擎VeDI推出了湖仓一体分析服务LAS,为企业提供源自字节跳动最佳实践的一站式EB级海量数据存储计算和交互缝隙能力。此外,针对企业面临的:自建开源大数据平台常见的组件繁多且演进迅速、建设使用成本高、运维监控门槛高等问题。云原生开源大数据平台E-MapReduce(简称EMR)还能提供100%开源兼容的大数据生态组件和丰富的运维管控能力,配合智能化的冷热数据分层存储和Stateless瞬态集群能力,帮助企业在大数据基建领域进一步降本提效。
考虑到部分企业对数据实时分析的加速需求,火山引擎VeDI还推出云原生数据仓库ByteHouse。2017年,字节跳动大规模启用ClickHouse,并拥有着大规模ClickHouse集群。在持续使用过程中,字节跳动应对了诸多挑战并将每一次经验加以沉淀,在2021年8月正式发布ByteHouse,并通过火山引擎对外服务。
从架构上来看,火山引擎ByteHouse与其他同类型产品相比,采用了自研的高可用引擎,支持数据实时更新、删除,新增了自研的查询优化器,并且在集群的运维和多表关联的场景都做了相应的增强;另一方面,全自研的查询优化能力,让ByteHouse可以保证用户在复杂查询的场景下具备更高的查询效能,这对重视实时数仓能力的用户来说,尤为重要。比如,丰富的表引擎不仅能帮助企业用户实现数据的快速写入去重、更新、删除与分析,还能支持高效方便的运维方式,实现高性能更灵活的实时查询。
当海量数据存储上云,如何让数据变得更有价值?这时候就需要对数据进行研发治理。对大多数企业来说,数据的研发和治理向来是“老、大、难”问题,需求响应慢、资源成本高、数据质量差、资产管理难、安全无保障,每一项都在阻挠让数据成为企业可用资源。
火山引擎VeDI旗下大数据研发治理套件DataLeap聚焦企业数据研发治理两个环节,提供全链路解决方案。
首先,DataLeap能够为企业提供基于字节大数据研发流程沉淀的DataOps敏捷研发流程、海量任务秒级调度能力和开源计算引擎的拓展能力;其次,在数据治理上,提供了分布式自治、全链路治理等服务;最后,在数据资产建设上,具备数据资产快速接入及自动构建全链路血缘等技术能力。
多个环节问题,一套解决流程,让企业得以真正实现“数据资产”积累。
更多维的数据应用场景
除了数据引擎能力之外,本次图谱还公布了火山引擎数智平台VeDI聚焦企业具体数据应用场景的多项能力与产品。
如,在辅助业务科学决策方面,历经字节跳动内部多业务、多场景验证的A/B测试能力已经通过火山引擎DataTester产品化输出。DataTester能够深度耦合推荐、广告、搜索、UI、产品功能等多种业务场景需求,通过快速、简洁、智能化的实验配置,为业务增长、转化、产品迭代、策略优化、运营提效等各个环节提供科学的决策依据。
企业使用DataTester就可轻松依据业务需求开启A/B实验,能够通过更轻量的投入在实际业务场景中验证不同决策的可靠性,以此得出最优决策,帮助企业以持续小跑姿态实现业务增长。
此外,在智能洞察方面,火山引擎VeDI增长分析DataFinder能够基于埋点技术帮助企业洞察用户在包括APP、小程序、商城等在内的路径旅程,同时可前置设置异常数据告警线,以帮助企业能即时发现问题。与此同时,通过DataFinder回流的数据还能接入到智能数据洞察DataWind中,后者是支持千亿级别数据自助分析的一站式数据分析与协作平台,提供AI与BI能力融合建模,帮助企业实现更精细化地数据深钻和分析,并支持多种报表形式展现。
而在智能营销场景中上,火山引擎VeDI推出的客户数据平台VeCDP,可以帮助企业更好地找准目标市场,同时还能基于目标市场属性反向推导营销内容定制,以保障能把“合适的内容触达合适的人”,进一步提高营销转化;值得一提的是,在营销触达环节,增长营销平台GMP能够依据企业的具体业务需求,通过全终端触点触达、智能策略、算法推荐、活动完整流程管理帮助企业实现降本增效以及业务持续增长。
如今,《数据智能知识图谱》涵盖的火山引擎数智平台VeDI系列能力都已经以产品化形式融入在企业数智化升级实践中。
截至2023年2月,包括陕西旅游集团、海王集团、Levi's、凯叔讲故事APP、峰米科技、杭州银行等文旅、医药制造、零售、互联网、金融等多个行业在内的几百家企业,都已使用火山引擎数智平台VeDI的产品,并在多个数智化场景中获得实效。