摩尔线程与无问芯穹在国产GPU上首次实现大模型实训

科技有点奇谱 2024-05-27 12:35:10

摩尔线程联合无问芯穹宣布,双方在近日正式完成基于国产全功能GPU千卡集群的3B规模大模型实训。该模型名为“MT-infini-3B”,在摩尔线程夸娥(KUAE)千卡智算集群与无问芯穹AIStudio PaaS平台(https://cloud.infini-ai.com/aistudio)上完成了高效稳定的训练。

摩尔线程是第一家接入无问芯穹并进行千卡级别大模型训练的国产GPU公司,而“MT-infini-3B”的训练是行业内首次实现基于国产GPU芯片从0到1的端到端大模型实训案例。本次实训充分验证了夸娥千卡智算集群在大模型训练场景下的可靠性,同时也在行业内率先开启了国产大语言模型与国产GPU千卡智算集群深度合作的新范式。

MT-infini-3B模型训练总用时13.2天,经过精度调试,实现全程稳定训练不中断,集群训练稳定性达到100%,千卡训练和单机相比扩展效率超过90%。目前,实训出来的MT-infini-3B性能在同规模模型中跻身前列,相比在国际主流硬件上训练而成的其他模型,在C-Eval、MMLU、CMMLU等3个测试集上均实现性能领先。

0 阅读:65

科技有点奇谱

简介:感谢大家的关注