烽火通信长江计算G440KV2服务器实现DeepSeek推理适配和优化

IT之家 2025-02-07 16:42:21

IT之家2月7日消息,烽火通信科技股份有限公司今日发文宣布,旗下长江计算近日联合昇腾、华为云团队成功助力某国有大行完成DeepSeek-V3大模型的本地化推理服务部署。

本次部署使用长江计算G440KV2服务器,基于MindIE推理引擎,在华为云AI开发平台ModelArts上完成。

据介绍,G440KV2服务器由长江计算自主研发,已实现DeepSeek系列模型的推理适配和优化,其采用8模组高效推理方式,可提供AI推理能力,满足DeepSeek大模型算力需求。

IT之家从烽火通信获悉,该服务器宣称在内存带宽和互联能力方面具有优势,在DeepSeek系列模型部署中,可提高模型推理速度、响应效率和数据处理能力,满足多机组网推理的需求。当前已应用于智能客服、文案生成、知识沉淀等大模型推理场景中,同时确保部署应用中的数据安全与自主可控。

1 阅读:82