国产GPU助力,摩尔线程实现对DeepSeek蒸馏模型推理服务部署

IT之家 2025-02-04 12:03:44

IT之家2月4日消息,DeepSeek开源模型(如V3、R1系列)在多语言理解与复杂推理任务中展现了卓越性能。摩尔线程智能科技(北京)有限责任公司今日发文宣布,摩尔线程实现了对DeepSeek蒸馏模型推理服务部署。

IT之家从摩尔线程官方获悉,通过DeepSeek提供的蒸馏模型,能够将大规模模型的能力迁移至更小、更高效的版本,在国产GPU上实现高性能推理。

开源框架适配:基于Ollama开源框架,摩尔线程完成DeepSeek-R1-Distill-Qwen-7B蒸馏模型的部署,并在多种中文任务中展现了优异的性能,验证摩尔线程自研全功能GPU的通用性与CUDA兼容性。

自研引擎加速:通过摩尔线程自主研发的高性能推理引擎,结合软硬件协同优化技术,通过定制化的算子加速和内存管理,显著提升了模型的计算效率和资源利用率。这一引擎不仅支持DeepSeek蒸馏模型的高效运行,还为未来更多大规模模型的部署提供了技术保障。

另外,用户也可以基于MTTS80和MTTS4000进行DeepSeek-R1蒸馏模型的推理部署,此前已有用户在MTTS80上手动完成实践。

2 阅读:355
IT之家

IT之家

爱科技,爱这里 - 前沿科技人气平台