#国产昇腾训出世界一流大模型#
近日，华为重磅推出参数规模高达7180亿的全新模型——盘古Ultra MoE，该模型使用了业界先进的MLA和MTP架构，在预训练和后训练阶段都使用了Dropless训练策略，实现万卡集群预训练MFU由30%大幅提升至 41%。此外，近期发布的盘古Pro MoE大模型，在参数量仅为720亿，激活160亿参数量的情况下，通过动态激活专家网络的创新设计，实现了以小打大的优异性能，甚至可以媲美千亿级模型的性能表现。华为盘古Ultra MoE和盘古Pro MoE系列模型的发布，意味着国产AI基础设施的自主创新能力得到了进一步验证，为中国人工智能产业的发展提供了一颗“定心丸”#华为发布准万亿大模型#
