Llama2,Gemma,Mistral等大语言开源模型都开源免费给大家使用,但是基于这些模型的使用都要操作一堆代码,操作之繁琐。本期我们就基于ollama一键安装各大开源模型,且可以本地部署使用。告别繁琐的代码编程,不用联网,本地使用大语言模型。
ollama是一个开源的第三方大语言模型使用插件,我们下载ollama后,可以很方便的使用Llama2,Gemma,Mistral等大语言开源模型。首先到ollama的官网,或者GitHub链接下载ollama进行安装,其ollama支持window版本,Mac版本,以及Linux版本,可以根据自己的电脑配置下载安装。由于ollama要使用GPU进行加速运算,因此电脑需要有N卡。
ollama就是一个简单的软件,安装完成后,直接双击运行即可,运行后,ollama会运行在后台提供服务,我们只需要进入一个CMD窗口即可。在终端界面输入ollama run llama2就可以愉快的跟llama2模型聊天了。当然,你若是第一次运行ollama,ollama会自动检测电脑上是否有相关的开源模型,若没有相关的开源模型,会自动下载。若是已经下载过llama2,运行以上命令后,会自动打开llama2大模型。
ollama支持主流的几十种大语言模型,可以直接使用ollama run + 模型的名字来运行,若本地没有下载过相关的模型,会自动下载,大大节省了操作的流程。这里模型记录聊天记录,能使用中文聊天,当然若想体验完整的中文,最好下载中文llama模型,或者其他国产开源模型。
当然这里下载的任何模型都可以进行使用,ollama list可以查看所有本地电脑安装好的模型,当然这些大模型也是比较大,若不想使用,也可以使用ollama rm llama2来删除。
这里需要注意的是8 GB RAM run 7B models, 16 GB run 13B models, 32 GB run 33B models.这里需要注意自己的电脑配置。
https://ollama.com/bloghttps://ollama.com/library当然运行在终端窗口中,虽然是一个界面,但是其界面并不美观,其实很多UI界面窗口都支持ollama,我们下期分享下其他界面的安装与使用方法。