微软宣布优化DeepSeek-R1模型,Copilot+PC实现本地化AI推理

IT之家 2025-01-30 12:51:31

IT之家1月30日消息,人工智能正加速向着边缘计算领域发展,Copilot+PC在其中扮演着重要角色。随着DeepSeekR1出现,微软也意识到了这一模型可能会带来了一系列变革。

微软今日发文,宣布推出针对NPU优化的DeepSeek-R1(IT之家注:已在AzureAIFoundry和GitHub上提供),首批将面向搭载高通骁龙X芯片的Copilot+PC推出,随后是英特尔酷睿Ultra200V等平台。

微软表示,首个版本DeepSeek-R1-Distill-Qwen-1.5B将在AIToolkit中提供,7B和14B版本也将很快推出,从而帮助开发者充分利用Copilot+PC中强大的NPU配置。

微软表示,Copilot+PC上的NPU开启了一种新的范式。在这种范式下,生成式AI不仅可以在被调用时执行,还可以支持半连续运行的服务。这使开发者能够利用AI推理引擎来构建主动和持续的体验。微软表示:

通过我们在PhiSilica上的工作,我们实现了高效的推理——在首次生成token的时间和吞吐率方面表现出色,同时对电池续航和PC资源消耗的影响降至最低。针对NPU优化的DeepSeek模型借鉴了该项目的多项关键经验和技术,包括如何分离模型的各个部分以实现性能与效率的最佳平衡、低比特率量化以及将Transformer映射到NPU。此外,我们还利用WindowsCopilotRuntime(WCR)通过ONNXQDQ格式在多样化的Windows生态系统中实现扩展。

微软表示,要想在Copilot+PC上体验DeepSeek只需下载AIToolkitVSCode扩展即可;以ONNXQDQ格式优化的DeepSeek模型将很快出现在AIToolkit的模型目录中(直接从AzureAIFoundry中拉取)。

用户可以通过点击“下载”按钮将其下载到本地。下载完成后,只需打开Playground加载“deepseek_r1_1_5”模型,并给出提示词即可开始实验。

除了为Copilot+PC优化的ONNX模型外,您还可以通过点击“DeepSeekR1”下的“TryinPlayground”按钮,在AzureFoundry中尝试云托管的源模型。

如下图所示,微软还展示了原始模型和量化模型的示例,以展现两者之间微小但确实存在的差异:

0 阅读:10

评论列表

第二个完美的逗

第二个完美的逗

7
2025-01-30 18:02

这就是说之前投给openai的💰打了水漂了吗[笑着哭] 花钱买的还没一个免费的香。。压力给到openai了,看它如何接招[捂脸哭]

你说说你哦

你说说你哦

6
2025-01-30 17:49

我知道中国人很缺乏自信,所以需要需要不断地催眠自己很强很强很棒很棒,但是也要实事求是,是怎样就是怎样,不能自欺欺人。

郭青禾

郭青禾

4
2025-01-30 15:25

一边要打压别人一边优化使用,什么意思???

唯由犯决刷厦

唯由犯决刷厦

4
2025-01-30 14:26

deepseek先搞蒸馏,然后就是微软再把deepseek再蒸馏了

youth_yan

youth_yan

3
2025-01-30 17:59

最后这就是典型给别人做嫁衣[红脸笑]

火红

火红

3
2025-01-30 13:44

DeepSeek-R1-Distill-Qwen-1.5B这不是蒸馏了阿里通义模型吗?[捂脸哭]

我想听到你_

我想听到你_

3
2025-01-30 15:44

一边打压,一边优化。典型的即当又立啊

萧赞赞

萧赞赞

3
2025-01-30 16:14

太厉害了。成立仅半年,只有四人交社保的企业,走过了别人n年的路。天才![笑着哭]

晓汲清湘

晓汲清湘

2
2025-01-31 01:51

微软灵魂都不要了,可见是真香!

啵啵波博

啵啵波博

1
2025-01-30 19:09

微软和AMD对Deepseek 的认可,足以否定一切质疑。

蛋白切开是黄的

蛋白切开是黄的

1
2025-01-30 14:56

专业人员都知道deepseek 是openai的destilled的产物,不是原创的产品

河笙

河笙

1
2025-01-30 18:14

微软拿去了,就是微软的,谁有操作系统,数据成果就归谁,

IT之家

IT之家

爱科技,爱这里 - 前沿科技人气平台