摩尔线程开源音频理解大模型MooER:基于国产GPU训练和推理

IT之家 2024-08-23 18:30:11

IT之家8月23日消息,摩尔线程开源了音频理解大模型—MooER(摩耳),是业界首个基于国产全功能GPU进行训练和推理的大型开源语音模型。

基于摩尔线程夸娥(KUAE)智算平台,MooER大模型用38小时完成了5000小时音频数据和伪标签的训练。

MooER不仅支持中文和英文的语音识别,还具备中译英的语音翻译能力。在Covost2中译英测试集中,MooER-5K取得了25.2的BLEU分数,接近工业级效果。

摩尔线程AI团队在该工作中开源了推理代码和5000小时数据训练的模型,并计划进一步开源训练代码和基于8万小时数据训练的模型。

MooER的模型结构包括Encoder、Adapter和Decoder(LargeLanguageModel,LLM)三个部分,具体的模型参数规模如下:

Github地址:https://github.com/MooreThreads/MooER

0 阅读:7

IT之家

简介:爱科技,爱这里 - 前沿科技人气平台