在Semicon West 2024大会上,Aitomatic公司宣布推出“SemiKong”世界上首个专为半导体行业设计的开源AI大语言模型(LLM)。Aitomatic公司表示,SemiKong有望在未来5年内,重塑价值5000亿美元的半导体行业。
Meta人工智能主管、首席人工智能科学家杨立昆(Yann Lecun)转发了这条内容并说:”这是专门用于半导体设计的开源 AI 模型。”
SemiKong是由Aitomatic与FPT Software合作开发,并借助 AI 联盟成员半导体公司的行业专业知识,在行业特定任务上的表现优于GPT和Llama3等通用 LLM。
具体来看, SemiKong模型基于Llama 3 Instruct微调而来,并且专门接受过半导体领域知识的训练,训练过程主要分为3个主要阶段:预训练领域知识——自我微调(指令数据集)——合并和量化。从放出的代码权重,可以看出SemiKong有8B的参数。
SemiKong在准确性、相关性和对半导体工艺的理解方面表现出了显著的进步,为那些打造适合自身的专有模型的芯片公司,提供了一个有价值的基座。Aitomatic表示,即使是其较小版本,在特定领域的应用中也常常超越较大的通用模型,从而有可能加速整个半导体价值链的创新并降低成本。
Aitomatic首席执行官Christopher Nguyen是SemiKong项目的领导者,也是AI 联盟基础模型重点领域的联合负责人。他在一份声明中表示:“SemiKong将重新定义半导体制造业。这种由AI Alliance支持的开放式创新模式利用集体专业知识应对行业特定挑战。在Aitomatic,我们正在使用SemiKong创建领域特定AI智能体,以前所未有的效率解决复杂的制造问题。“
当前,新模型的代码权重已经放在Hugging Face、GitHub上,供所有人下载。Aitomatic表示,下一个更强大的SemiKong版本计划在今年12月推出,首个针对工艺特定模型预计在9月发布。