本地部署大模型的原因

在本地部署大模型主要有以下几个重要原因：

数据隐私和安全性：

企业或组织的敏感数据在本地部署中能得到更好的保护，降低数据泄露的风险。例如金融机构的客户交易数据、医疗行业的患者信息等，这些数据如果上传到云端可能会引发严重的隐私问题。避免了数据在传输过程中被窃取或篡改的可能性，确保数据的完整性和机密性。

低延迟和高性能：

本地部署可以减少数据传输的延迟，特别是对于对实时性要求较高的应用，如工业自动化中的实时控制、自动驾驶中的决策等。能够充分利用本地的硬件资源，实现更高的性能和更快的响应速度。

定制化和灵活性：

可以根据本地的特定需求和业务流程进行定制化的开发和优化。比如，对模型的结构、参数进行调整，以适应特定的行业场景。便于与本地现有的系统和基础设施进行集成，无需受到云服务提供商的限制和约束。

自主控制和稳定性：

企业对模型的运行和维护拥有完全的自主控制权，能够及时处理可能出现的问题。不受云服务提供商的服务中断、网络故障等外部因素的影响，保障业务的持续稳定运行。

合规要求：

某些行业受到严格的法规监管，要求数据和模型必须在本地存储和处理，以满足合规性。比如，国防、军工等领域。

总之，本地部署大模型为企业和组织提供了更多的数据主权、性能优化、定制灵活性以及合规保障，使其能够更好地满足自身业务的独特需求和安全要求。

VS Code代码编辑器

Visual Studio Code（简称 VSCode）是一款由微软开发的免费、开源且跨平台的代码编辑器。

它具有众多优点：

强大的功能：

支持多种编程语言，通过安装相应的扩展可以获得丰富的语法高亮、智能代码补全、代码格式化等功能。内置了调试工具，方便开发者对代码进行调试。

优秀的扩展生态：

拥有海量的扩展插件，涵盖了从前端开发到后端开发，从数据库管理到版本控制等各个领域。例如，用于 JavaScript 和 TypeScript 开发的 ESLint 插件，用于 Python 开发的 Python 插件等。

界面友好：

提供了简洁清晰的用户界面，可根据个人喜好进行主题和布局的定制。

版本控制集成：

与 Git 等版本控制系统紧密集成，方便查看代码的更改、提交代码等操作。

跨平台支持：

可以在 Windows、Mac 和 Linux 等操作系统上运行，方便开发者在不同的环境中工作。

总之，VSCode 因其功能强大、易于使用和高度可扩展性，成为了众多开发者的首选代码编辑器。

例如，一位前端开发者可以在 VSCode 中安装 HTML CSS Support、JavaScript (ES6) code snippets 等插件来提高开发效率；一位 Python 开发者可以安装 Python 插件，并利用其提供的代码检查和调试功能来优化代码质量。

Continue插件

Continue 是领先的开源 AI 代码助手。您可以连接任何模型和任何上下文，在 Visual Studio Code 和 JetBrains 内部构建自定义的自动补全和聊天体验。

开源地址

https://github.com/continuedev/continue

安装Continue插件

在扩展中，搜索“continue”，如上图所示的扩展，点击“安装”。

安装成功后，在“扩展”按钮的下方，会出现一个“Continue"的按钮，点击后，出现如下界面。

左下角出现一个选项栏。点击”+”号后，上方出现滚动栏，向下滑动，可以看到“ollama”选项。

点击“ollama”选项，出现如下图界面。

安装ollama

ollama的安装教程：

https://www.toutiao.com/article/7371308422433669658/

启动ollama

此时需要我们启动本地安装好的ollama。

启动成功后，在托盘区域，会出现如下图所示的ollama图标：

continue关联ollama

点击如下图所示的“Autodetect”

关联成功后，在左下角的选项菜单中，会显示出ollama中下载和安装好的大模型，如下图所示：

选择一个大模型，如通义千问的“qwen2:7b”模型。

测试是否安装成功

在左上角的输入框中输入“请介绍一下你自己”，并回车。如下图所示：

等待几秒钟后，出现答案，说明此时continue已经和ollama关联成功。根据需要可以切换任意ollama中安装的模型。

测试问题“写一个html页面”，如下图所示，很快给出一段代码。

点击如下图所示的“apply”按钮，代码会自动填写到右侧的文件test.html中。

网页效果如下图所示：

如果不想安装dockers部署webui，在VScode中用continue进行问答，也是一个替代方法。