微软拥抱DeepSeek,Copilot+PC本地运行7B和14B模型

IT之家 2025-03-04 11:51:39

IT之家3月4日消息,微软今日宣布,通过AzureAIFoundry接入DeepSeek-R17B和14B蒸馏模型,为Copilot+PC提供本地运行7B和14B模型的能力。

早在今年1月,微软就宣布计划将DeepSeek-R1模型的NPU优化版本直接带到搭载高通骁龙X处理器的Copilot+PC上。如今,这个承诺终于兑现。

IT之家从微软官方博客获悉,模型将从搭载高通骁龙X处理器的Copilot+PC开始上线,随后是英特尔酷睿Ultra200V和AMD锐龙的设备。

由于模型运行在NPU上,因此可以减少对PC电池续航和散热性能影响的同时,持续获得AI计算能力,CPU和GPU将可用于执行其他任务。

微软强调,它使用了Aqua内部自动量化工具,将所有DeepSeek模型变体量化为int4权重。不幸的是,模型标记速度相当低。微软报告称,14B模型的标记速度仅为8tok/秒,而1.5B模型的标记速度接近40tok/秒。微软提到,该公司正在进一步优化提高速度。

开发者可以通过AIToolkitVSCode扩展在Copilot+PC上下载和运行DeepSeek模型的1.5B、7B和14B版本。

0 阅读:0
IT之家

IT之家

爱科技,爱这里 - 前沿科技人气平台