英特尔发布Gaudi3AI加速器,在AI训练和推理方面提升明显

科技有点奇谱 2024-04-14 01:55:14

近日,英特尔面向客户和合作伙伴举行了Intel Vision 2024产业创新大会。会上宣布了英特尔至强6处理器的全新品牌,推出英特尔Gaudi 3加速器,以高性能、开放性和灵活性助力企业推进生成式AI创新,并发布了涵盖全新开放、可扩展系统,下一代产品和一系列战略合作的全栈解决方案。

英特尔公司首席执行官帕特·基辛格表示:“创新技术正在以前所未有的速度发展,每家公司都在加速成为AI公司,这一切都需要半导体技术提供支持。从PC到数据中心再到边缘,英特尔正在让AI走进千行百业。英特尔最新的Gaudi、至强和酷睿平台将提供灵活的、可定制化的解决方案,满足客户和合作伙伴不断变化的需求,把握住未来的巨大机遇。”

英特尔Gaudi 3 AI加速器将为AI系统提供动力,该AI系统可通过以太网的通用标准连接多达数万个加速器。与上一代产品相比,英特尔Gaudi 3将带来4倍的BF16 AI计算能力提升,以及1.5倍的内存带宽提升。该加速器将为寻求大规模部署生成式AI的企业带来AI训练和推理方面的重大升级。

英特尔Gaudi 3预计可大幅缩短70亿和130亿参数Llama2模型,以及1750亿参数GPT-3模型的训练时间。此外,在Llama 7B、70B和Falcon 180B大语言模型(LLM)的推理吞吐量和能效方面也展现了出色性能。

英特尔Gaudi 3提供多种灵活的形态,包括OAM兼容夹层卡、通用基板、PCIe扩展卡,满足不同应用需求。此外,Gaudi 3提供开放的、基于社区的软件,以及行业标准以太网网络,可以灵活地从单个节点扩展到拥有数千个节点的集群、超级集群和超大集群,支持大规模的推理、微调和训练。

预计英特尔Gaudi 3将于2024年第二季度面向OEM厂商出货。而现有诞生于2022年5月的Gaudi 2已于2023年7月正式引入中国,其拥有极高的深度学习性能、效率,以及极高的性价比。在文生图模型Stable Diffusion 3 20 亿参数版本测试中,英特尔Gaudi2加速器比NVIDA H100最多快55%。目前来看,更先进的Gaudi 3是否会供货中国,何时供货中国尚未知。

0 阅读:0

科技有点奇谱

简介:感谢大家的关注