过去一年,大语言模型的浪潮,让越来越多人看到了通向通用人工智能的道路,整个科技界、产业界也非常兴奋。数据显示,目前中国10亿参数规模以上的大模型已经发布了70多个。
那么,大模型价值在哪?如何做出AI时代的爆款应用?
卷大模型没意义,卷应用机会更大
百度集团执行副总裁、百度智能云事业群总裁沈抖表示,对于组织和企业来讲,大模型会带来新的智能生产范式。员工不用花大量的时间死记硬背常规的知识,有问题问大模型,大模型就会给出答案。同样,大模型会改变人和机器之间的关系,可以显著提升专家的工作效率,专家就可以把时间花在真正有创造性的工作上去,而且更主要的是大模型有强大的理解和生成能力,它能够整合不同领域的知识,创造出前所未有的AI。
百度创始人、董事长兼首席执行官李彦宏在2023年百度云智大会上指出,模型本身并不直接产生价值,基于基础大模型开发出来的应用才是模型存在的意义。他认为,对于创业者来说,卷大模型没意义,卷应用机会更大。就像移动互联网时代,操作系统只有安卓和iOS,而特别成功的应用有很多,只有在大模型的基础之上,产生了足够多的AI原生应用,才是一个健康的生态环境。
百度创始人、董事长兼首席执行官李彦宏
李彦宏指出,AI原生应用要能解决过去解决不了、或解决不好的问题,而不是对移动互联网APP和PC软件的简单重复。他认为,AI原生应用应该满足三个基础条件:一是能够用自然语言交互,二是充分利用大语言模型的理解、生成、推理、记忆等能力,三是每个应用的交互不超过两级菜单,所以交互会更简单。
百度的目标是打造好大模型的基础能力,支持好AI原生应用开发。最新的文心大模型3.5版本,模型效果提升了50%,训练速度提升了两倍,推理速度提升了30倍。不久后,百度将推出文心大模型4.0版本。文心大模型是最好的大模型之一,只有最好的大模型,才能产出最好的AI原生应用。百度希望创业者在文心大模型之上,可以做出AI时代的爆款应用。
沈抖坚信,2023年一定会成为AI原生业务的元年,在大模型推动下所有行业都会迎来深度重构,共同建立一个繁荣的大模型产业生态,用更高效的算力基础设施、更丰富的行业解决方案、更全面的全国服务网络,让每一个行业、每一位客户都能更好的驾驭大模型,实现规模化的产业创新,让大模型成为推动我国产业优化升级、实现经济高质量发展的新动能。未来将有更多伟大的产品和应用诞生在百度的客户和伙伴的手中。
大模型驱动云计算创新变革
在百度集团副总裁侯震宇看来,作为基础设施的云计算,在大模型的驱动下,AI原生应用的引领下,它的发展从经典的云逐步进化到AI原生云,将会重塑云计算产业的格局,生成式AI大模型会催生一个研发的新范式。
第一,对AI原生应用提出了新的架构要求。构建一个新的AI原生应用一方面肯定是模型,需要有模型能力,模型能力将会以API调度的方式来提供服务,这里的模型不止包括基础大模型,同时也包括托管在百度平台上的客户经过微调的自己的模型。无论是动态编排还是静态编排,用大模型独有的能力实现链式调用;另一方面,新的服务即MaaS能力将成为一个基础性能力,MaaS需要具备丰富、易用和面向AI原生应用的三个特点,未来不可能有一个大模型解决所有的问题,最终落地到场景里面需要有不同模型组合满足不同客户在不同场景的需求。
第二,大模型平台要足够简单易用,需要有全套的工具链覆盖从数据收集、标注到模型研发、训练、评估,进而再到模型推理优化的全生命周期。此外,数据对于AI的研发非常重要,平台既要提供更多的数据集,同时平台也应该帮助客户建立起属于自己的数据驱动数据闭环的能力,更好地支持客户的模型能力的迭代,以激发其业务更快速的发展。
第三,新计算大模型需要有大量数据的高密度计算,它对计算体系结构带来了新的要求。目前,计算负载在加速向异构计算迁移,而且规模越来越大,微秒级互联将成为算力规模化发展的关键能力,这些都需要从整个体系结构的层面上用软硬一体的思路和方法去解决。
大力开展基于国产AI芯片的大模型系统研究
中国工程院院士郑纬民指出,在国外的GPU卡一卡难求(价格非常高),国产的卡不喜欢的情况下,除了要改变国产卡的生态系统不好的局面外,更要考虑大模型基础设施平衡设计。
中国工程院院士郑纬民
首先,半精度运算性能与双精度运算性能的平衡。设计中不仅要考虑半精度运算性能,还要考虑双精度运算能力,双精度与半精度运算性能之比为1:100比较合适。根据科学计算( AI For Science)和大模型训练的发展趋势,变精度平衡设计的思想很重要,适应科学计算和更广泛的AI算法和应用提供保障。
其次,网络平衡设计。网络设计不能只针对CNN算法,还需考虑极大规模预训练模型对系统的需求,大规模预训练模型需要高带宽低延迟网络。
再次,体系结构感知的内存平衡设计。针对环网、存控可能带来的性能问题,可以利用核间通信辅助、排布核组访存模式,两种优化方式可以带来5.3倍性能提升。针对体系结构特点设计应用程序的访存模式,最大化利用硬件性能。
最后,io子系统平衡设计。系统的本地nvme ssd仅通过本地文件系统访问,限制了其应用范围。将每台服务器上的快速本地nvme整合成应用可见的全局分布式文件系统。
郑纬民认为,怎么让一块GPU发挥两块、甚至三块的能力?大模型基础设施平衡设计的四点考虑做得好,相信别人要用1万块卡,我们用9000卡就可以了。
百度集团副总裁袁佛玉认为,大模型时代的生态体系,会有三个重大特点。第一,应用生态的位置将更加核心;第二,拥有行业专业知识的企业迎来巨大机遇和挑战;第三,初创企业与开发者将带动生成式AI的应用繁荣。