今天在某购物平台查了一下,部署一个DeepSeek蒸馏icon版 7B大模型就要2万多,美其名曰DeepSeek一体机。
实在不巧,本人给自己2018年8000元买的笔记本上也部署了一个一样的大模型,一分钱没花,而且还是联网版。
试了一下,好用!
很简单,先下载GGUF格式的大模型,然后在LM Studio里加载,让这个模型作为本地服务器,然后在Cherry Studio里选用联网模式同时调用这个模型。
试一下,先在对话框里输入一通提示词,发现Cherry Studio在联网搜索,调用的LM Studio里的DeepSeek Distill Qwen7B R1模型对联网搜索到的内容推理分析,不一会儿就整理出了结果,还得网页链接,点进去直接可以打开。好用,不收费!
没买一体机,没买服务器,自己就愉快地用上本地部署的DeepSeek大模型。
大模型部署好了,该怎么用?是当搜索引擎使?还是整理出个专业知识库?
与大模型每次输出的随机性,在专业知识领域不太适用。尤其是问有标准答案性的问题。像法律条款、政务公文,就不能有随机生成了。恐怕温度参数要设置为0了。
大模型的潜力该如何挖掘?在哪些垂直场景中使用也是个问题。不能停留在口号和看热闹上,一片狂欢无法变现,没法产生实际效益。如果大模型的应用仅仅类似于过去学生手里的计算器,类似个文本、图像、音视频处理器,用了省事,不用也能做,后面还有更好用的智能体出现,那这些大模型也确实只能让人尝尝鲜罢了,实际价值不大。
