要说这段时间,科技圈什么最火,那肯定是deepseek大模型了。
新出的DeepSeek R1模型,其中思维能力,已经超过了Chatgpt O1的思考模型。
果核作为资深的AI爱好者,在DeepSeek出来的时候,就已经体验了他们家的模型,当时还是在用DeepSeek的Code模型,用起来还是挺不错的。
后面在Chatgpt出来O1以后,果核就开了高级套餐,每个月额度都不够用。

自从DeepSeek R1出来以后,基本上给替代了。经过对比,DeepSeek是能够满足日常使用的,并且还说免费,你说香不香

可能是全球爆火,用的人太多了,并且也经常被攻击,所以DeepSeek经常出现用不了的情况。
好在官方知道这个情况,所以直接王炸开源,把模型丢给你,让咱们自己来玩

那么既然这样,今天的教程,果核就手把手教大家,如何本地部署大模型,实现大模型自由。

本教程直接使用最简单的方案,图形化程序一步一步的教大家完成。所有的资源,都在末尾下载地址给打包了。
1、可视化程序安装目前针对大模型,有很多的程序可以直接使用。本教程使用比较简单的程序,LM Studio来做演示。
LM Studio是一款通用的模型调用工具,集成了环境,只要一个软件,就能直接使用开源模型的文件。

下载安装很简单,并且果核上还有windows绿色版本,可以根据自己的环境来选择。
下载以后,第一次打开是英文的。先点击右上角的跳过介绍。

然后,点击右下角的设置图标。

在语言里面,找到简体中文即可将程序切换成中文。

软件是一个空壳的,没有任何模型,需要我们自己下载模型。
软件的发现里面有模型选择,但是需要代理的,速度非常慢。果核会给大家提供网盘和其他的下载地址。

虽然说都叫R1模型,但是模型也分成很多个版本。根据自己的电脑显卡配置选择。

其中,1.5B的模型,体积只有1.8G,基本上所有电脑都可以跑。可以先下载来体验一下。
下载好以后,选择一个空间比较大的目录,例如D盘根目录,创建一个文件夹,不要有空格和中文。你可以像果核这样,在D盘创建一个ai的文件夹,并且在ai目录下,创建一个名为module的目录。

然后,把下载的模型文件,按照名称命名,1.5B的这个目录下,果核就放的是模型“DeepSeek-R1-Distill-Qwen-1.5B-Q8_0.gguf”

接下来,点击侧边的文件夹,然后更改一下模型目录。这个时候,就选择根目录,D:\ai。
至于为什么要这么做,软件是只能识别2级目录,也就是说,你选择的模型目录,模型文件要有2级目录,否则软件不能正常识别。

设置好以后,就能在软件里面,看到模型了

接下来,在聊天的页面,选择要用的模型即可。


可以根据需要,配置一些模型参数,也可以直接点击加载模型

至此,加载成功后,模型就能正常的使用了。

阿里做了一个模型站,上面有各种各样的模型可以下载。大家可以根据自己的喜好,来选择模型。

最后的最后,再B几句,本地部署的大模型,只能将就用用,问一些常见的问题,如果不是怕泄露隐私,还是建议使用在线的版本。因为我们本地是跑不了在线版本的大模型的,光显存就可能要几个T,一般家庭是玩不转的,所以就没那么聪明。

但是,话又说回来,一些小模型,用在开发上倒是非常舒服的,让模型做个选择,匹配个正则着一些的工作,很轻松就能胜任。再或者,搭建本地知识库,用本地小模型,也可以完成。所以,就看自己的选择了。