![](http://image.uc.cn/s/wemedia/s/upload/2024/41a70cb5682c0f3c55678d0106400e22.jpg)
以下为DeepSeek本地部署的详细步骤:
一、环境准备
硬件需求:
最低配置:支持AVX2指令集的CPU、16GB内存、30GB存储空间。
推荐配置:NVIDIA GPU(RTX 3090或更高)、32GB内存、50GB存储空间 。
软件依赖:
操作系统:Windows、macOS或Linux。
Docker:如果使用Open Web UI,需要安装Docker。
二、安装Ollama
Ollama是用于在本地轻松运行和部署大型语言模型的开源工具,安装步骤如下:
访问Ollama官网,https://ollama.com/ 点击“Download”按钮;
根据操作系统选择对应的安装包,下载完成后,直接双击安装文件并按提示完成安装;
安装完成后,在终端输入“ollama --version”命令,若输出版本号(例如ollama version is 0.5.6),则说明安装成功。
![](http://image.uc.cn/s/wemedia/s/upload/2024/97856d76fefe0671c0bafd0cd69870b6.jpg)
三、下载并部署DeepSeek模型
Ollama支持多种DeepSeek模型版本,用户可根据硬件配置选择合适的模型,具体部署步骤如下:
选择模型版本:
入门级:1.5B版本,适合初步测试;
中端:7B或8B版本,适合大多数消费级GPU;
高性能:14B、32B或70B版本,适合高端GPU。
下载模型:打开终端,输入下载命令下载并运行DeepSeek模型。例如,下载7B版本的命令为“ollama run deepseek-r1:7b” 。如果需要下载其他版本,可以参考以下命令:
8B版本:ollama run deepseek-r1:8b
14B版本:ollama run deepseek-r1:14b
32B版本:ollama run deepseek-r1:32b
启动Ollama服务:在终端运行“ollama serve”命令启动服务。服务启动后,可通过访问http://localhost:11434与模型进行交互。
四、使用Open Web UI(可选)
为更直观地与DeepSeek模型进行交互,可使用Open Web UI,安装和使用步骤如下:
确保机器上已安装Docker;
在终端运行以下命令安装并启动Open Web UI:
bash复制docker run -d -p 3000:8080 \
--add-host=host.docker.internal:host-gateway \
-v open-webui:/app/backend/data \
--name open-webui \
--restart always \
ghcr.io/open-webui/open-webui:main
安装完成后,访问http://localhost:3000,选择deepseek-r1:latest模型即可开始使用。
![](http://image.uc.cn/s/wemedia/s/upload/2024/b19eea1db9a7201aabc74f8609e40ee9.jpg)
五、性能优化与资源管理
资源分配:根据硬件配置选择合适的模型版本。较小的模型(如1.5B到14B)在标准硬件上表现良好,而较大的模型(如32B和70B)需要更强大的GPU支持。
内存管理:确保系统有足够的内存和存储空间,以避免运行时出现资源不足的问题。
六、常见问题及解决方法
模型下载超时:如果在下载模型时出现超时问题,可以尝试重新运行下载命令。
服务启动失败:确保Ollama服务已正确安装并启动。如果服务启动失败,可以尝试重启Ollama服务。
![](http://image.uc.cn/s/wemedia/s/upload/2024/43064be36595a69f4676f72a52d3344f.jpg)