自家芯片助力:SambaNova推出最快DeepSeek-R1671B推理云服务

IT之家 2025-02-21 16:49:06

IT之家2月21日消息,AI芯片与解决方案企业SambaNova宣布在其基于自研SN40LRDU处理器的云平台上推出号称“市面最快”的DeepSeek-R1671B模型推理云服务,并表示其token输出速度可达每prompt每秒198个。

SambaNova的SN40LRDU芯片基于台积电5nm制程,BF16算力可达638TFLOPS。其采用了一种三层存储结构:片上的520MBSRAM缓存、2.5D封装集成的64GBHBM内存、片外的1.5TB超大容量DDRDRAM内存,这使得单芯片能容纳的参数远超一般竞品。

此外SN40LRDU在结构上的灵活性使得其能动态重新配置硬件资源和数据流,提升计算与访存效率。

SambaNova宣称,其仅需一台容纳16个SN40LRDU芯片的机架就能完成DeepSeek-R1671B部署。

0 阅读:0
IT之家

IT之家

爱科技,爱这里 - 前沿科技人气平台