商业人工智能和大型语言模型（LLM）有一个很大的缺点：隐私！在处理敏感或专有数据时，我们无法从这些工具中受益。

这使我们了解如何在本地运营私有 LLM。开源模型提供了一种解决方案，但它们也有其自身的一系列挑战和好处。

和我一起探索 ChatGPT 的本地替代品，您可以在自己的计算机上运行它。

设定期望

开源非常广泛，有数千种可用的模型，从像 Meta 这样的大型组织提供的模型到个人爱好者开发的模型不等。然而，运行它们会带来一系列挑战：

它们可能需要强大的硬件：充足的内存，可能还需要一个 GPU虽然开源模型正在改进，但它们通常无法与 ChatGPT 等更完善的产品的功能相匹配，后者受益于大型工程师团队的支持。并非所有型号都可以用于商业用途。

正如谷歌泄露的一份文件所暗示的那样，开源和闭源模型之间的差距正在缩小。

1.Hugging Face and Transformers

Hugging Face 是机器学习和 AI 的 Docker Hub 等价物，提供了大量开源模型。幸运的是，Hugging Face 会定期对模型进行基准测试，并提供排行榜以帮助选择可用的最佳模型。

Hugging Face 还提供了 transformers，这是一个 Python 库，可以简化在本地运行 LLM。以下示例使用该库运行较旧的 GPT-2 microsoft/DialoGPT 中型模型。在第一次运行时，变形金刚将下载模型，您可以与它进行五次交互。该脚本还需要安装 PyTorch。

from transformers importAutoModelForCausalLM, AutoTokenizerimport torchtokenizer = AutoTokenizer.from_pretrained("microsoft/DialoGPT-medium", padding_side='left')model = AutoModelForCausalLM.from_pretrained("microsoft/DialoGPT-medium")# source: https://huggingface.co/microsoft/DialoGPT-medium# Let's chat for 5 linesfor step in range(5): # encode the new user input, add the eos_token and return a tensor in Pytorch new_user_input_ids = tokenizer.encode(input(">> User:") + tokenizer.eos_token, return_tensors='pt') # append the new user input tokens to the chat history bot_input_ids = torch.cat([chat_history_ids, new_user_input_ids], dim=-1) if step > 0 else new_user_input_ids # generated a response while limiting the total chat history to 1000 tokens, chat_history_ids = model.generate(bot_input_ids, max_length=1000, pad_token_id=tokenizer.eos_token_id) # pretty print last output tokens from bot print("DialoGPT: {}".format(tokenizer.decode(chat_history_ids[:, bot_input_ids.shape[-1]:][0], skip_special_tokens=True)))

Transformers优点：

自动模型下载可用的代码片段实验和学习的理想选择

Transformers缺点：

需要对 ML 和 NLP 有扎实的理解编码和配置技能是必要的2. LangChain

我们可以在本地运行 LLM 的另一种方法是使用 LangChain。LangChain 是一个用于构建 AI 应用程序的 Python 框架。它提供了抽象和中间件，用于在其支持的模型之一之上开发 AI 应用程序。例如，以下代码向 microsoft/DialoGPT 中型模型提出一个问题：

from Langchain.LLMs.huggingface_pipeline import HuggingFacePipelinehf = HuggingFacePipeline.from_model_id( model_id="microsoft/DialoGPT-medium", task="text-generation", pipeline_kwargs={"max_new_tokens": 200, "pad_token_id": 50256},)from langchain.prompts import PromptTemplatetemplate = """Question: {question}Answer: Let's think step by step."""prompt = PromptTemplate.from_template(template)chain = prompt | hfquestion = "What is electroencephalography?"print(chain.invoke({"question": question}))

LangChain的优点：

更轻松的模型管理用于 AI 应用程序开发的有用实用程序

LangChain缺点：

限速，与变形金刚相同您仍必须对应用程序的逻辑进行编码或创建合适的 UI。3. Llama.cpp

Llama.cpp 是一个基于 C 和 C++ 的 LLM 推理引擎，针对 Apple 芯片进行了优化，并运行 Meta 的 Llama2 模型。

克隆存储库并构建项目后，我们可以使用以下命令运行模型：

$ ./main -m /path/to/model-file.gguf -p “Hi，there！”

Llama.cpp优点：

比基于 Python 的解决方案具有更高的性能在适度的硬件上支持 Llama 7B 等大型模型提供绑定以使用其他语言构建 AI 应用程序，同时通过 Llama.cpp 运行推理。

Llama.cpp缺点：

有限的模型支持需要工具构建4.Llamafile

Llamafile 由 Mozilla 开发，为运行 LLM 提供了一种用户友好的替代方案。 Llamafile 以其可移植性和创建单文件可执行文件的能力而闻名。

一旦我们下载了 llamafile 和任何 GGUF 格式的模型，我们就可以启动本地浏览器会话：

$ ./llamafile -m /path/to/model.gguf

Llamafile 优点：

与 Llama.cpp 相同的速度优势您可以生成嵌入了模型的单个可执行文件

Llamafile 缺点：

该项目仍处于早期阶段并非所有模型都受支持，只有 Llama.cpp 支持的模型。5.Ollama

Ollama 是 Llama.cpp 和 Llamafile 的更用户友好的替代品。下载在计算机上安装服务的可执行文件。安装后，打开终端并运行：

$ Ollama Run llama2

Ollama 将下载模型并开始交互式会话。

Ollama优点：

易于安装和使用。可以运行骆驼和骆马模型。它真的很快。

Ollama 缺点：

提供有限的模型库。自行管理模型，不能复用自己的模型。运行 LLM 的不可调选项。暂无 Windows 版本。6. GPT4ALL

GPT4ALL 是一款易于使用的桌面应用程序，具有直观的 GUI。它支持本地模型运行，并通过 API 密钥提供与 OpenAI 的连接。它以其处理本地文档上下文的能力而著称，从而确保了隐私。

优点：

具有友好用户界面的精美替代品支持一系列精选模型

缺点：

型号选择有限某些型号有商业使用限制结论

选择正确的工具在本地运行 LLM 取决于您的需求和专业知识。从用户友好的应用程序（如 GPT4ALL）到更多技术选项（如 Llama.cpp 和基于 Python 的解决方案），环境提供了多种选择。开源模型正在迎头赶上，提供了对数据和隐私的更多控制。