哈喽小伙伴们好,我是Stark-C~
前些天有好几位粉丝私聊我零刻SER9这么强的性能小主机部署deepseek-R1大模型表现怎么样,本来打算本周末折腾一下给小伙伴们汇报一下的,没想到零刻官方的工作人员直接先搞出来了,并且还整的非常详细。
所以我也懒得折腾了,部署教程现在全网铺天盖地都是。我这里直接放出零刻官方给出的数据,大家直接抄作业参考吧~
以下内容为零刻官方官方原话:
通过LM Studio软件,我们在SER9 Pro HX370和AI 365上测试了deepseek-R1模型在不同参数规模和精度下的运行能力,以提供更全面的性能参考。
测试概述:
此次测试基于SER9 Pro HX370(64G内存)和AI 365(32G内存)两款主机,使用deepseek-R1蒸馏模型,参数规模从1.5B到14B,精度范围从Q2到Q8。测试结果显示,两款主机在本地部署大模型时均表现出色。SER9 Pro不仅可以使用CPU进行计算,还能优先利用核显算力。
性能对比:
1. GPU模式表现:
- 在处理1.5B和7B模型时,SER9 Pro HX370凭借其优化的核显算力表现更优。
- 对于14B模型,两款主机的性能差异不大,均能稳定运行。
- GPU模式在显存占用和响应速度上更具优势,适合性能要求较高的场景。
2. CPU模式表现:
- 在CPU模式下,两款主机运行大模型的性能相近。
内存与显存配置:
- 配备64G内存的主机可设置最大48G专用显存;32G内存版本支持24G专用显存。这一设计为更大参数规模的模型通过GPU运行提供了支持。
应用场景建议:
- 日常使用:8B模型是最佳选择,在性能与资源占用之间实现了良好平衡,适合大多数应用场景。
- 高性能需求:14B模型适合对性能有更高要求的场景,能够满足复杂任务的需求。
