零刻SER9ProHX370与AI365本地部署deepseek...

俺是玩机小能手 2025-02-16 14:34:38

哈喽小伙伴们好,我是Stark-C~

前些天有好几位粉丝私聊我零刻SER9这么强的性能小主机部署deepseek-R1大模型表现怎么样,本来打算本周末折腾一下给小伙伴们汇报一下的,没想到零刻官方的工作人员直接先搞出来了,并且还整的非常详细。

所以我也懒得折腾了,部署教程现在全网铺天盖地都是。我这里直接放出零刻官方给出的数据,大家直接抄作业参考吧~

以下内容为零刻官方官方原话:

通过LM Studio软件,我们在SER9 Pro HX370和AI 365上测试了deepseek-R1模型在不同参数规模和精度下的运行能力,以提供更全面的性能参考。

测试概述:

此次测试基于SER9 Pro HX370(64G内存)和AI 365(32G内存)两款主机,使用deepseek-R1蒸馏模型,参数规模从1.5B到14B,精度范围从Q2到Q8。测试结果显示,两款主机在本地部署大模型时均表现出色。SER9 Pro不仅可以使用CPU进行计算,还能优先利用核显算力。

性能对比:

1. GPU模式表现:

- 在处理1.5B和7B模型时,SER9 Pro HX370凭借其优化的核显算力表现更优。

- 对于14B模型,两款主机的性能差异不大,均能稳定运行。

- GPU模式在显存占用和响应速度上更具优势,适合性能要求较高的场景。

2. CPU模式表现:

- 在CPU模式下,两款主机运行大模型的性能相近。

内存与显存配置:

- 配备64G内存的主机可设置最大48G专用显存;32G内存版本支持24G专用显存。这一设计为更大参数规模的模型通过GPU运行提供了支持。

应用场景建议:

- 日常使用:8B模型是最佳选择,在性能与资源占用之间实现了良好平衡,适合大多数应用场景。

- 高性能需求:14B模型适合对性能有更高要求的场景,能够满足复杂任务的需求。

0 阅读:0
俺是玩机小能手

俺是玩机小能手

感谢大家的关注