联发科推出全球首个繁体中文AI大语言模型BLOOM-zh

IT之家 2023-04-30 14:49:43

IT之家4月30日消息,联发科4月28日官宣,旗下AI研究小组日前发布了全球首个繁体中文AI大型语言模型(LLM)。

这一多语言模型名为BLOOM-zh,号称在大多数繁体中文基准测试中优于其前身,同时保持其英语能力。

联发科表示,BLOOM-zh起源于BigScience于2022年推出的开源BLOOM模型,团队对BLOOM进行了额外的繁体中文和英文74亿个token的扩展预训练,涵盖了新闻、书籍、百科全书、教材、口语等多个领域。为了展示BLOOM-zh的特性,现有的和新创建的基准场景都用于评估性能。

此外,联发科的AI研究小组在ICLR国际表征学习大会上发表了一篇论文,详细介绍了其使用Fisher-Legendre(FishLeg)优化的新算法,可以比以前更快、更可靠地训练AI模型。该研究是与英国剑桥大学的神经动力学和控制组合作进行的。联发科AI研究小组将在5月1日的ICLR会议上展示这项成果。

IT之家附相关内容链接:

BLOOM-zh论文:点此查看

BLOOM-zh大模型:点此使用

FishLeg算法论文:点此查看

FishLeg开源页面:点此进入

0 阅读:2