随着AI的发展,开源的语言大模型基本遍地开花,比如国内的Qwen,ChatGLM等,国外的Llama,Gemma等。既然是开源的那肯定是可以部署在本地电脑,今天我们就来体验下用Ollama来使用开源语言大模型吧!
安装Ollama我们打开Ollama官网,点击Download即可在线下载,当然下载速度也是根据自己的网速哦~
下载成功后双击安装包,选择Install后会自动安装成功。
启用OllamaWindows系统下的Ollama安装成功后会自启动,我们需要把自启动关闭,不然启用Ollama会报错。
我们可以用ollama -h指令来检测Ollama是否成功启用,显示以下则成功启用。
下载开源模型开源模型可以直接在Ollama Models下载,只需要一个指令即可,非常方便。
我们下载开源模型之前需要先设置下模型的存放地址,因为安装Ollama默认是存放在C盘,这样肯定是不稳妥的,所以需要修改下存放地址。
我们使用指令set OLLAMA_MODELS=D:\ollama\models,=后面是模型存放地址。
设置成功后用指令echo %OLLAMA_MODELS%验证是否修改成功。
到这一步我们可以用指令ollama pull +模型名称,比如ollama pull qwen2:7b
开源模型大小基本都是以G为单位,所以下载时间完全是根据网速来断定。
模型下载成功后可以用指令ollama list来查看。
使用开源模型最后我们可以用指令ollama run + 模型名称,比如ollama run qwen2:7b(如果模型未下载用此指令会自动下载哦~)
现在我们可以开始对话咯~