中国电信在“星辰基础大模型”之后推出了10+行业(金融、政务、应急、交通等)大模型;中国移动建成3个国产智算中心并推出23款AI+产品,20个AI+DICT行业应用,覆盖15+行业(网络、客服、工业、医疗、司法等)模型;中国联通推出“元景大模型”1+1+M架构,内置10+工业领域行业大模型、100+视觉检测、质检、合规、工业机理等场景模型,支持大小模型融合……
自2023年通信运营商入局AI大模型以来,一年的时间内,中国电信、中国移动、中国联通三大运营商集体完成了新一轮的大模型进化,特别是围绕大模型开始重构通信业研发与应用,加速推动技术革新和产业升级。
大模型应用“加速度”:
运营商推动通信大模型落地挑战诸多
运营商在数字化建设道路上,不断解决生产要素价值发挥、生产效率提升、数字化系统林立等问题,已取得卓越成效。
浩鲸科技相关人员在接受《通信产业报》全媒体记者采访时表示,在“AI+”战略和大模型的热潮下,运营商的各方面能力正在基于智能化手段不断提档升级,但大模型想要高效落地应用,仍面临训练和推理成本高昂、数据与知识资产分散、大模型可解释性差、幻觉、泛化能力有限、智能化应用开发门槛高与IT系统集成难度大等一系列挑战。
针对以上各种挑战,浩鲸科技认为,需要在架构层面去考虑如何让大模型加速落地业务场景。
一方面,通过2个核心平台的引入,增强企业IT整体架构。面对训练和推理成本高昂、数据和知识语料需求巨大等问题,其中,MAAS平台提供从大模型的模型纳管、数据供给、训练、微调、推理等全链路的工具支持,是运营商的大模型在面向2B场景落地过程中必不可少的核心平台;另外一个核心平台是mmRTC平台,它主要解决IT系统集成难度大的问题,mmRTC平台通过多模态的实时通信交互,实现让大模型应用和现网IT基础设施高效连接和集成的诉求。
另一方面,通过3个工厂的建设,提升大模型应用的生产效率。利用“知识工厂”围绕RAG+知识图谱技术,解决大模型可解释性差、幻觉等问题;利用“智能体工厂”面向不同业务诉求,构建出满足不同业务场景需求的智能体服务,解决泛化能力有限的问题;利用“数字应用工厂”的组装式开发工具,来开发和管理多种多样的大模型应用,解决大模型应用开发门槛高、管理难的问题。
基于运营商需求及当前挑战,浩鲸科技围绕基础设施的智能升级、大模型平台的全栈服务能力,以及行业创新数智应用供给三个方面,得出让大模型更好落地的架构2+3+N+1,即2个核心平台+3个工厂的模式,从中产生N个场景化应用和1个无系统的体验效果。
2+3+N+1架构:
加速通信大模型在2B场景下应用
据记者了解,“2”是通过2个核心平台的引入,增强企业IT整体架构。MAAS平台,作为管理和服务于大模型的核心平台,MAAS平台将为企业提供一个统一的接口,以便更平滑地将不同大模型能力统一融入到现有的数字化系统中,以更安全、更经济的方式向企业提供模型服务。为了克服大模型固有的生成幻觉问题和知识滞后性问题,MAAS平台还将引入RAG技术解决纯参数化大模型的局限。
mmRTC平台,针对多模态实时通信的需求,mmRTC平台将在原有集成架构的基础上,构建一个实时通信交互平台,支持人-人、人-智能体、人-智能体-人、多智能体等多种形式的即时协同。通过发挥智能体在感知、规划、记忆、执行等方面的能力,mmRTC平台能够改变传统异步派单的模式,实现实时分析、精准诊断和即时处理,极大地提高工作效率。应用于运营商的网络故障诊断、装维疑难问题处理、复杂方案营销等场景。
“3”是通过3个工厂的建设,提升数字化生产效率。知识工厂,知识工厂致力于训练和管理两类知识——经营领域的专业知识(如产品、渠道、客户、网络、故障分析等)和数字化领域的专业知识(如数据模型、功能页面、集成关系等)。它提供高效工具帮助企业通过多种形式建立专属知识库,解决知识分散、信息损失等问题,并实现知识的可运营、可迭代优化,最终实现一问多答,更好地满足跨地域、多产品、多客户类型等复杂的经营形态。
智能体工厂,智能体工厂专注于整合现有的海量插件,以低代码的方式通过工作流的可视化开发形态,将模型、知识库、提示词、插件工具进行链式整合,构建出面向不同领域、解决不同场景问题的智能体。
数字应用工厂,数字应用工厂将利用大模型驱动的低代码组装式开发方式,更高效地构建数字化应用。提高应用开发的效率,随着数字资产积累而提升应用的开发速度。为运营商政企市场做强力推动。
“N”是通过N个场景的智慧化,基于大模型的理解、生成、逻辑、记忆四大能力,浩鲸科技已经实现了诸多大类的智慧化应用,包括但不限于营销方案生成、家宽综调助手、CRM营业助手、ChatBI分析助手、资费稽核、合同稽核等场景。这些应用全面提升了数字化智能水平,为运营商带来了显著的价值。
“1”是通过1个“无系统”的打造,将整合企业数字化系统的数据、功能界面、使用操作、业务知识等训练给大模型,并构建一个统一的入口。通过这个入口,用户可以以自然语言的方式调用功能模块、完成操作、查看数据等。用户无需关心具体的系统和菜单位置,只需表达自己的意图,即可实现一步直达的功能。
浩鲸科技:
做大模型价值释放者和使能者
新一代信息技术加速演进,特别是生成式AI取得重大进展,为行业发展带来前所未有的机遇。在国家发展新质生产力要求的大背景下,运营商正在全面推进“AI+”战略落地,深化网络智能化改造,构建智慧运营体系,赋能千行百业数字化转型,引领数字经济高质量发展。
结合2+3+N+1架构的思路,浩鲸科技已在运营商一系列场景进行试点。其中,在智能受理助手上,某省运营商客户经理通过智能受理助手支撑识别协议、手写单、语音受理,改变交互方式的同时,大大提升了客户经理录入效率;营业员通过智能受理进行客户定位、商品查询和办理业务,平均受理时长降低37%。
在综调助手上,某省运营商生产使用人数900+人,意图理解准确率达到80%,一线工单拦截率达到60%,前后端人员单次会话时长由8分钟以上降到3分钟以内。
在ChatBI方面,某省运营商实现1400+个指标问数,覆盖95%以上市场业务专题,单指标查询场景的准确率达到85%以上,支持多轮对话、千人千面热点指标移动预警、报表分析报告等,单指标同比环比、平均值、下级单元排名等趋势分析从20分钟提升到1分钟内。
大模型的平滑应用,只有在系统架构和应用场景切入方面提前做好规划和适配,充分发挥大模型的优势,减轻大模型的缺陷对运营商构建生产应用的影响,才能发挥大模型的最大价值。
就如在2024 MWC上海展上,浩鲸科技提到的“大模型落地不止一公里”一样,在智能时代,作为运营商重要合作伙伴,浩鲸科技将始终作为大模型真实价值释放者和使能者,助力运营商全面推进“AI+”战略落地,加速AI融入百业,加速数智新增长。