为什么本地部署大模型本地部署大模型相比依赖云服务有诸多优势:
隐私和安全:可保护敏感数据,满足医疗、金融等行业合规要求。性能和延迟:能实现低延迟、高吞吐量,还可针对本地硬件及场景优化。成本控制:长期成本可能更低,能避免云服务按需付费产生的不必要费用。可控性和灵活性:可完全自主控制模型,还能按需定制。离线使用:能在无网络环境下运行。但本地部署也存在挑战,如对硬件要求高、维护成本高、技术门槛高。总之,本地部署大模型优势显著,是否选择需依据具体应用场景和需求而定。
本地部署效果预览

部署步骤:安装ollama下载大模型DeepSeek下载Gemma3安装浏览器插件Page Assist简单问题对比测试耗时约45分钟。
开始部署:下载并安装ollama下载地址:https://ollama.com/

安装ollama

安装好后启动ollama,系统右下角会出现ollama图标:
下载deepseek模型

我们找到阿里的deepseek大模型,选择7b的:

复制上面这段代码
ollama run deepseek-r1在电脑上,按:窗口键+R,打开运行窗口,如下图:

输入:cmd后按回车键,打开命令提示符窗口,如下图所示:

将下面的代码块,复制粘贴到,命令提示符窗口中,按回车
ollama run deepseek-r1等待几秒钟后,显示如下内容,即安装成功了。

输入问题“你是谁?”,看到deepseek的回复,说明本地已经部署成功。

此时已经部署成功。
下载Gemma3下载地址:
https://ollama.com/library/gemma3

命令:
ollama run gemma3
Gemma3安装成功。
安装浏览器扩展Page Assist
Page Assist下载地址:
https://microsoftedge.microsoft.com/addons/detail/page-assist-a-web-ui-fo/ogkogooadflifpmmidmhjedogicnhooa
安装好后,启动

下拉菜单选择模型。
提问测试,如果能快速回答,则安装成功。
建议根据自身设备配置,选择模型。
可以由参数从小到大逐个测试,直到找到最佳参数的模型。
简单问题对比测试

安装部署成功!
收藏、点赞、关注,私信”AI资料“,免费领取AI资料。