落地大模型,华为云提出了正确的问题

TechForWhat 2023-09-22 10:35:03

作者 | 常棣

华为云的科学家都快成工程师了。

过去几年,华为云把一批又一批博士、专家、科学家派到客户现场,下矿井、进车间,送到了山东能源,送到一汽车间,送到贵州直播基地,送到泰国气象局,帮助超过1000家企业落地智能化创新项目。

在互联网大厂看来,这是吃力不讨好的事,产业互联网概念兴起的早期,大厂们掀起了浩浩荡荡的“下乡”运动,目的就是为了搞懂行业Know-How,但效果却并不好,行业壁垒强、人力成本高、回报周期长、技术价值不明显等等,他们大多没找到技术和业务结合的长久方法。

华为云的科学家有些不一样。印象中的科学家总是在探索艰辛晦涩的原理,寻求解答关于世界运作方式的根本问题,而工程师则更加注重实际应用和解决实际问题,设计和制造出满足人们需求的实际产品或系统。

经历过AI产业潮起潮落,接触过大模型的人都知道,科学家解决“可能性”问题,工程师解决“可行性”问题,华为人将这两种身份不冲突地联系起来,游走在AI技术创新与业务需求的交汇点。

在华为全联接大会2023上,华为云盘古大模型喊出了“解难题、做难事、行致远” 的口号,而这一切的前置条件,在于提出正确的问题。

为大模型提正确的问题

爱因斯坦曾经说过:“提出一个问题往往比解决一个问题更重要。因为解决问题也许仅是一个数学上或实验上的技能而已,而提出新的问题,却需要有创造性的想象力,而且标志着科学的真正进步。”

大模型是先有技术创新,再去找寻业务场景,不可否认大模型的革命性,但是,大模型看似提供了一个无所不能的工具,实际上却没有天然适配的生长场景,尤其在需要可靠稳定的企业级场景,大模型需要做到“人无我有,人有我优”。

这就要求科学家和工程师提出正确的问题,左手大模型,右手业务场景,把大模型嵌入到业务场景的深处,之后作出假设大胆论证,完成大模型的业务闭环,目前最熟悉大模型的还是科学家们,华为云将宝贵的人力放到一线顺理成章。

华为云科学家口中的关键词自然变成——落地,落地,还是落地。

“没有调研实践,就没有发言权,AI落地需要脚踏实地。”华为云AI高级研究员谢凌曦表示,他是盘古CV基础大模型的主要负责人。

谢凌曦提到,“我们认为的很多简单场景,其实都面临着我们想象不到的困难。AI算法并不是万能的,只有算法与需求紧密结合,算法专家与行业专家密切配合,才能走出AI落地的道路来。”

凭借盘古气象大模型登上Nature的一作作者恺峰,同样把落地当做追求。

“AI落地和AI科研之间的区别——科研的时候只需要在‘imagenet数据集’上精度高一两个点就可以了,但是落地的场景很碎片化,数据标注流程和质量要自己控制,算法调优周期要尽可能的短,样本数目比较少但是场景特别多。落地场景一般做起来都比较快乐,对我而言,更困难的地方是写各种文字材料,还有就是场景很碎片化,我更想做一些‘价值更大’的问题。”他说。

会上,华为常务董事、华为云CEO张平安表示,今年华为云还将派200多位博士深入客户现场,抓住AI技术创新与业务需求的结合点。盘古大模型“不做诗、只做事”,而是要“解难题,做难事,行致远”;盘古大模型为解决行业难题而生,它不仅要做难事,更要帮助千行万业的客户解难题,让每个行业、每家企业、每个人的工作更高效、更轻松。

很多采买大模型的企业和大模型企业的工程师都没打过照面,华为云投入了如此之大的资源,不会满足于谁都能做的浅层场景,此前如GaussDB、软件开发工具、AI云服务等,华为云都选择了难度最大却也回报最大的方向,“解难题、做难事”的思路也贯彻到了大模型领域。

瞄准5%的Corner case

一个残酷又现实的问题是,几乎没有企业不准备或已经采用AI技术,但如果说哪个企业没有AI技术就无法正常运转,也几乎没有。这对如今大模型的启示很明确,就是要解决产业中的Corner case,才有不可替代的价值。

以自动驾驶领域为例,影响高阶自动驾驶落地的关键因素,不再是解决常见的一般案例,而是让模型快速学习各类不常见但不断出现的Corner Case,这类问题只占5%甚至更少,但却是实实在在的瓶颈。

例如停靠在路边的白色卡车,模型可能会识别为天上的云朵,不会触发刹车,就会导致碰撞事故的发生。

大模型来了之后这些问题就能迎刃而解吗?当然不是。Corner case闭环涉及数据预处理、数据标注、模型训练、模型仿真等多个环节,最阻碍Corner case快速闭环的,是如何快速挖掘出足够多的样本数据来启动训练。

每一个问题和方向的抉择,都意味着潜在的大量优化和经验沉淀,点滴的进步都铺就在开发和工程的积累之上。华为云推出基于大模型的自动驾驶场景数据生成解决方案有三大特点:

对数据质量更加鲁棒,支持位姿偏移自动修正,实现多旅程重建、并进一步仿真和生成新行驶轨迹数据;

重建精度高,开阔大场景精度厘米级,误差小于千分之三,从而实现大视角变换,支持不同车型适配和车道变换;

重建场景可按需编辑:支持通过环拍数据进行3D物体重建、并将重建的交通参与者添加到原场景中。

基于盘古大模型的场景生成能力,企业可以构造出雨天、下雪天场景用于模型的训练,不用再等待特殊的天气出现才能进行数据采集。20%的路测工作可以通过大模型的场景生成来实现,缩短了里程积累的周期。大模型能够快速的构建出场景丰富的样本,而且对样本的数量要求也只有以前小模型的十分之一,通过应用盘古大模型可以让自动驾驶的Corner Case实现天级的闭环。

此外,盘古大模型也展示了医疗、数字人、软件研发、政务、矿山、气象等方向的最新成果。

例如盘古政务大模型接入了城市数十万视频源进行联动分析,基于对百万政务知识精调、政务规则理解与执行的能力,盘古大模型能实时精准理解及分析画面内容存在哪些城市损坏及异常的现象,城市事件处理效率提升了50%以上。

大模型厂商不仅要了解科学、懂得技术,更要知道行业know-how和其背后的意义,通过工程化的实践,把构想转变成能力,华为云既能提出问题,也能解决问题,这就是华为云的不同之处,也是其为盘古大模型蹚出的道路。

百模千态,吃掉算力还是被算力吃掉?

参考新技术的发展路径,大模型大概率是由底层及上层,由硬件及软件,待到成熟形态又会往复螺旋式的发展,目前数百个大模型、数以千计的业务形态,都仰仗于算力。

在大模型的热潮下,全球AI算力供给短缺,受外部因素影响,国内企业获取高端AI算力进一步受到限制,大模型的竞争也是算力的竞争,只有发展持续供应、自主可控的AI算力,中国大模型才不至于是空中楼阁。

换个角度想,成本高企的AI算力也是横亘在大模型商业化前的难关,没有高效率、低成本、可大规模复制的算力,大模型商业闭环注定是磕磕绊绊。

如今,摆在所有厂商面前的共同难题,是吃掉算力,还是被算力吃掉?华为也给出了自己的答案。

全联接大会首日,华为副董事长、轮值董事长、CFO孟晚舟提到,大模型需要大算力,算力大小决定着AI迭代与创新的速度,也影响着经济发展的速度。算力的稀缺和昂贵,已经成为制约AI发展的核心因素。

华为致力于打造中国坚实的算力底座,为世界构建第二选择,将持续提升“软硬芯边端云”的融合能力,做厚“黑土地”,满足各行各业多样性的AI算力需求。

翌日,华为云便拿出了昇腾AI云服务的解决方案,以云服务的方式提供AI算力,让企业直接云上获取,随取随用,更加高效敏捷地实现开发和使用大模型。

从算力布局来看,华为云提供了贵安、乌兰察布、芜湖3大AI云服务节点,客户可以就近接入,服务即开即用,数据加密传输,大模型训练和推理算力触手可及。

从训练效果来看,昇腾AI云服务支持千卡预训练故障自动诊断恢复,增强智能运维工具能力,实现分钟级信息获取、2小时定界、24小时提供解决方案;任务恢复时长<30分钟。

最重要的是兼容的深度和广度,昇腾AI云服务支持“百模千态”,内化优质开源大模型,降低大模型使用门槛,后续将支持上百个开源大模型,同时提供丰富的开发、迁移工具链,集成全栈的开发工具、自动化实施工具,典型模型迁移效率低至2周,主流场景自助迁移。

大模型是革命性技术创新不假,但有了算力,才有了想象力,有了提出问题-解决问题的循环,才有持久的商业落地模式。外界喧嚣仍在,华为云低头赶路,大模型距离真正意义上的科学进步,渐行渐近。

The End

0 阅读:2

TechForWhat

简介:数字时代,技术当立。关注行业数字化转型实践与案例。