华为昇腾大EP方案,摘掉中国AI发展“紧箍咒”
数据与科技挺配
2025-03-18 14:04:45
过去的这个月,AI新秀DeepSeek不仅席卷全网,也激活了整个人工智能产业链,为各行业注入新的活力,开启了一场“AI驱动的生产力革命”
截至目前,已经有上千个大模型覆盖了医疗、金融、教育、交通等20多个行业,落地超万家企事业单位。科技巨头BTAH(百度、腾讯、阿里、华为)、AI独角兽(科大讯飞、商汤、零一万物等)都悉数到场。
但狂欢背后,这场看似繁华绚烂的科技盛宴背后,仍有诸多隐忧。
近年来,美国对我国人工智能发展的制裁手段可谓层层加码、环环相扣。从最初对单芯片算力的限制,到对算力密度的严格管控,再到实施HBM出口禁令,这一系列举措犹如一道道枷锁,紧紧束缚着中国人工智能产业在模型研发与芯片制造领域的前行脚步。
在这一制裁体系下,英伟达的“阉割版”H20芯片进入中国市场,这款产品被宣传为“专为中国市场打造”,但实际上,它就像一个套在中国AI头上的“紧箍咒”,中国AI的发展总攥在念咒的美国人手里,这对中国人工智能技术的自主发展而言,无疑是一种潜在的威胁。
唯有秉持自主创新的坚定信念,不断加大研发投入,积极探索新技术、新架构,才能完成从底层硬件到上层应用全链条的自主可控,让我国的AI大模型的发展不至于受制于人。
因此,中国AI大模型能否开辟出一条属于自己的康庄大道,摘掉“H20”这个紧箍咒,至关重要。
击破AI壁垒,DeepSeek为AI厂商发展提供新思路从AI诞生以来,就被人们认为将为千行百业带来革命性的改变。但为何只有DeepSeek这次掀起这么大的狂欢。
理解这个问题,我们有必要回看AI的发展历史。
以往,大家普遍认为算力是AI的核心,发展AI就是要不断的堆算力、堆GPU。于是我们看到,OpenAI兴起的时候,不仅英伟达(NVIDIA)因此受益,只要沾边AI的东西都“飞起”。美国更是通过禁售英伟达GPU来遏制中国AI发展。
DeepSeek之所以能够迅速掀起了一场全球AI大模型风暴,是因为它直接改变了以前大家普遍认知,就在大家烧钱堆算力的时候,DeepSeek选择烧脑改算法。
DeepSeek的出现打破了这些限制,带来了行业变革:
新的训练创新:DeepSeek开辟了新的训练模式,通过其基础模型生成高质量的合成数据,并结合少量行业数据,即可训练出如R1这样的模型。这种方式不再依赖大量的行业数据积累,为数据不足的企业提供了新的思路,即利用基础模型生成的合成数据进行二次训练和微调,从而构建行业大模型。
降低算力门槛:DeepSeek降低了单个模型对算力的需求,使得企业可以在百卡到千卡的范围内构建推理资源池,进行微调和二次训练,从而降低了算力门槛。
开源模型:DeepSeek开源了自己的模型,使得更多企业能够直接使用这些模型,大大降低了技术门槛。
可以说,DeepSeek给大家趟出一条新路,哪怕算力受限,哪怕单卡算力没有那么先进的情况下,依然能够做出很强大的模型来。
DeepSeek的开源模式和优化技术为业界提供了宝贵的参考,激发了千行百业对大模型的应用创新。
目前,业界在推理方面已经开始走向大规模的专家并行方式,通过大规模专家并行来实现更高的吞吐量和更低的延迟。
然而,任何事物都有两面性,专家并行规模并非越大越好,而是存在一个最优值,通常被称为“甜点”。当规模扩大到一定程度后,性能提升会逐渐减缓,甚至可能出现下降,此时继续扩大规模就没有意义了。
因此,专家并行规模的优化是一个不断权衡的过程,需要在负载均衡和通信开销之间找到最佳平衡点。
华为昇腾正是看到了这一趋势,积极投入研发,通过技术创新和工程优化,为企业和开发者提供高性能、低门槛的人工智能解决方案。
击破性能壁垒,昇腾大EP方案构筑中国AI之基昇腾大EP方案的推出,正是对DeepSeek启示的深度实践。昇腾通过其强大的硬件和软件协同能力,为大模型的推理和训练提供了高效、灵活的解决方案。
为了提升并行处理能力,昇腾大EP方案通过将模型中的专家分布到更多的计算节点上,每个节点上的权重信息大幅减少,从而降低了显存占用和计算资源消耗。这种设计不仅提升了系统的并发能力,还显著降低了时延,提升了用户体验。
这种分工方式类似于酒店门口、电梯和会议室分别安排不同的服务员,每个服务员只负责一个特定的任务。通过这种方式,每张卡的负载减轻,资源利用率提高,从而能够处理更多的并发请求。
为了提升负载均衡方面的能力,昇腾采用了自动寻优、自动预测、自动配比和自动降解等技术。这些技术能够动态调整专家的负载,避免因负载不均导致的性能瓶颈。例如,通过自动寻优技术,系统可以实时选择最优的专家节点来处理请求,从而实现资源的高效利用。
在通信优化方面,昇腾引入了RoCE总线技术和MLAPO融合算子。通过优化All to All通信和混合并行数据流,昇腾大幅降低了通信延迟,提升了系统的整体吞吐量。这些技术的结合使得昇腾能够在大规模集群环境中实现高效的并行计算。
不仅如此,如今昇腾大EP方案适用于多种行业和场景。无论是金融、制造、教育还是医疗等领域,昇腾大EP方案都能提供强大的支持。通过与昇腾硬件的深度协同,昇腾大EP方案能够充分发挥硬件的性能优势,满足不同行业对大模型的多样化需求。比如在金融领域,昇腾大EP方案能够快速处理海量交易数据,实现风险预测和智能客服。
同时,为了提升生态支持的能力,昇腾提供了从预训练到微调、推理的全流程覆盖方案,并兼容业界主流框架,如PyTorch和昇思。这种全流程覆盖的解决方案,使得企业和开发者能够无缝对接昇腾的技术生态,快速实现大模型的部署和应用。
另外,昇腾还通过开源和开放策略,吸引了众多合作伙伴共同构建强大的人工智能生态系统。昇腾的MindIE引擎不仅支持昇腾自身的技术框架,还兼容业界主流的推理引擎,如vLLM,使得用户能够高效地进行自主训练和创新。这种开放的生态策略,不仅推动了昇腾技术的广泛应用,也为整个行业的发展提供了强大的动力。
值得注意的是,昇腾大EP方案不仅在技术上具有创新性,还在实际应用中展现了强大的灵活性和适应性。对于中小企业,昇腾提供了一体机方案,帮助用户快速部署和应用大模型。而对于大规模企业级应用,昇腾的大EP推理资源池能够满足高并发、低时延的需求。
昇腾大EP方案的推出,不仅是对DeepSeek技术的借鉴与创新,更是昇腾在人工智能领域长期积累的结果。昇腾从2018年开始布局人工智能,逐步形成了“硬件开放、软件开源、使能伙伴、发展人才”的十六字战略方针。通过昇思开源、各地人工智能计算中心的建设,以及CANN能力的深度开放,昇腾逐步构建了强大的技术生态。
如今,昇腾大EP方案的发布,标志着昇腾在大模型领域的技术实力达到了新的高度。
面向未来的展望随着人工智能技术的不断发展,昇腾大EP方案将继续引领技术创新和工程优化。昇腾将继续探索新的技术路径,如大规模集群部署和低延迟推理优化,以满足未来不断增长的算力需求。同时,昇腾还将通过持续的开源和开放策略,推动整个行业的发展,助力千行百业实现智能化转型。
昇腾大EP方案不仅是对当前技术趋势的回应,更是对未来发展的积极探索。在人工智能的新时代,昇腾正以其强大的技术实力和创新精神,帮助更多的中国AI企业摘掉H20这个“紧箍咒”,助力中国人工智能行业的变革与发展。
0
阅读:4