今日(11月17日)上午,由每日经济新闻主办的“2023第十二届中国上市公司高峰论坛”系列活动之“2023数智科技沙龙”在四川泸州郎酒庄园举行。沙龙以“AI改变世界数智引领未来”为主题,由中央财经大学数字经济融合创新发展中心提供学术支持。
在广道数字(839680.BJ,股价13.87元,市值9.29亿元)首席科学家王洋看来,AI时代的来临,将给企业提供一波技术红利,但企业想要抓住这波红利必须进行升级改革,企业数字化转型就是其中非常关键的一环。
近年来,数字化转型是企业发展的一个重要议题,它是指企业利用数字技术和数字化手段,对传统业务模式、流程和组织进行全面的变革和改造,以提升企业的运营效率、创新能力和竞争力。不过,数字化转型也面临着一些挑战,例如:如何提供业务洞察、如何支持战略规划、如何实现个性化营销以及推进创新改革等等。
王洋认为:“对企业数字化转型来说,我们可以从不同角度、不同方面,利用不同的手段去实现,但数据作为企业核心的资源,将为企业提供基础的解决方法。企业发展有几个要素,技术、资金、市场、人才,现在多了一条——企业数据。如果企业要发展得好,不管从事什么行业,首先要有自己基础的数据资源。”
当前,数据作为生产要素,甚至被称为新的“石油”。如何梳理和使用数据,并更好地驱动企业转型备受外界关注。
王洋表示:“大数据处理能力将代表一个企业发展的潜力。先有数据治理和管理,才能有效地进行数据分析处理,有了数据分析处理能力才有可能有有效的AI应用。1999年,Oracle(甲骨文公司)发布其数据仓库产品,标志着数据仓库已经成为关系模型下OLAP的主流技术产品,当时主要的计算模式就是数据仓库。数据仓库有效地满足企业的对经营业绩等报告要求,也提供了一个用来高效管理企业数据模型的结构。但是数据仓库的局限性比较明显,即计算和存储紧密耦合,垂直可扩展性非常昂贵;另外只支持面向BI的结构化数据的查询和处理,缺乏对非结构化的数据的支持等等。因此,数据仓库已经满足不了大数据时代AI应用的要求。”
在传统数据仓库已经无法满足大数据的存储和处理需求下,数据湖作为一种新型的数据存储和处理方式,可以解决传统数据仓库的局限性。具体来说,数据湖是一种支持原始异构数据类型的大规模数据管理架构,对存取的数据没有格式类型的限制,数据产生后,可以按照数据的原始内容和属性,直接存储到数据湖。数据可以是结构化的,也可以是半结构化的,甚至可以是完全非结构化的原始日志,如关系数据库的结构化数据、半结构化的数据(日志、XML、JSON、CSV等),非结构化数据(文件、PDF)和二进制数据(图像、音频、视频)。不过,当前数据湖的技术因其架构的灵活性和开放性,在性能效率、安全控制以及数据治理等方面并不十分成熟。
2019年,湖仓一体的概念被提出,它融合了数据湖与数据仓库的优势,形成一体化、开放式数据处理平台的技术。数据湖同时满足结构化和非结构化数据的需求并以可扩展的架构和相对便宜的成本处理大量数据。数据湖为数据的开放性和数据存储成本带来了高效的功能,可以更好地满足快速变化的业务需求。
演讲中,王洋还介绍了数据湖仓对AI(人工智能)的影响。首先,数据湖仓可以提供数据丰富性和多样性,使AI算法和模型能够生成更具创造性和多样性的内容;其次,统一的存储和管理平台,使AI可以对数据湖仓中的数据进行综合分析和挖掘,发现隐藏的模式、趋势和关联,加强生成内容的可信性和准确性;最后,数据湖仓支持实时数据流和流式处理,使得生成式AI能够生成与时俱进的内容,为实时应用和实时创作提供了更多的机会。
王洋表示广道数字已确定将面向生成式AI的数据湖仓技术作为优先发展方向,为AI时代的企业数字化转型夯实数据基座。为此,广道数字和中国科学院深圳先进技术研究院于今年8月成立了大数据&AI联合实验室,聚焦数据湖仓一体技术的研发,目前已经完成Gnexus广道湖仓产品的架构设计以及原型系统的研发,并以此为支撑探索公安政务知识图谱构建与应用技术和面向工业安全的机器视频结构识别技术。