本地部署AI大模型,既省钱又安全,1000元的旧电脑也能成为AIPC

科技大人说 2024-08-08 04:21:53
本地部署AI大模型的好处数据隐私和安全:确保敏感数据不离开本地环境,降低数据泄露风险,满足严格的数据合规要求。定制化和灵活性:可以根据自身业务需求和特点,对模型进行更深入的定制和优化,更好地适应特定场景。低延迟响应:避免网络延迟对实时性要求高的应用产生影响,提供更快速的交互体验。自主掌控:拥有对模型的完全掌控权,包括升级、维护和调整的决策。

使用方案(目前最容易上手的方案):

ollama

ollama部署耗时约30分钟部署步骤目录下载ollama下载模型下载webUI完成详细操作下载ollama

下载地址:https://ollama.com/

下载模型

我们找到阿里的通义千文大模型,选择0.5b的

复制上面这段代码

ollama run qwen:0.5b

在电脑上,按:窗口键+R,打开运行窗口,如下图:

输入:cmd后按回车键,打开命令提示符窗口,如下图所示:

将下面的代码块,复制粘贴到,命令提示符窗口中,按回车

ollama run qwen:0.5b

等待几秒钟后,显示如下内容,即安装成功了。

输入一个问候,很快就显示出了AI的回复,如下图:

如果只是简单使用,这一步就可以了。但是如果要有更好的用户体验,则可以安装一个好用的客户端。

客户端安装

以下是官方推荐的一些web和桌面客户端

Web & Desktop

Open WebUIEnchanted (macOS native)HollamaLollms-WebuiLibreChatBionic GPTHTML UISaddleChatbot UIChatbot UI v2Typescript UIMinimalistic React UI for Ollama ModelsOllamacbig-AGICheshire Cat assistant frameworkAmicachatdOllama-SwiftUIDify.AIMindMacNextJS Web Interface for OllamaMstyChatboxWinForm Ollama CopilotNextChat with Get Started DocAlpaca WebUIOllamaGUIOpenAOEOdin RunesLLM-X (Progressive Web App)AnythingLLM (Docker + MacOs/Windows/Linux native app)Ollama Basic Chat: Uses HyperDiv Reactive UIOllama-chats RPGQA-Pilot (Chat with Code Repository)ChatOllama (Open Source Chatbot based on Ollama with Knowledge Bases)CRAG Ollama Chat (Simple Web Search with Corrective RAG)RAGFlow (Open-source Retrieval-Augmented Generation engine based on deep document understanding)StreamDeploy (LLM Application Scaffold)chat (chat web app for teams)Lobe Chat with Integrating DocOllama RAG Chatbot (Local Chat with multiple PDFs using Ollama and RAG)BrainSoup (Flexible native client with RAG & multi-agent automation)macai (macOS client for Ollama, ChatGPT, and other compatible API back-ends)本地安装Open WebUI

安装dockers

下载docker desktop ,下载地址如下:

https://www.docker.com/products/docker-desktop/

安装成功后,运行dockers desktop

安装openwebui

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

在命令提示符窗口中,粘贴如上代码,如下图所示:

等待安装完成后,打开docker desktop,可以看到容器已经部署成功,如下图所示:

浏览器中输入:localhost:3000 即可打开聊天窗口了,如下图所示:

0 阅读:2

科技大人说

简介:感谢大家的关注