国内领先的大模型厂商智谱官方发布了智谱清言的Intel酷睿Ultra专享版,无需联网,即可在PC本地离线运行智谱的端侧模型,有利于保护隐私安全。
智谱清言是一款涵盖移动端、PC端的AI助手,附加功能丰富,但以往必须依赖云端大模型才能运行。
酷睿Ultra系列处理器通过CPU+NPU+iGPU三者合作,可以为不同的AI负载提供合适的算力引擎,其中CPU适合对延迟要求较高的AI应用,NPU适合持续性的、低负载的AI应用,iGPU适合大吞吐量的AI运算。
智谱与Intel深度合作,在本地模型的选择上确保了模型参数、准确性的平衡,同时采用合理的量化技术,确保合理的模型文件尺寸,还在性能调优上选取了优秀的工具链,确保本地模型高效第运行酷睿Ultra之上。
本次发布的智谱清言酷睿Ultra专享版,会自动检测PC配置,自动下载合适的端侧模型,提供知识问答、文档撰写、创意生成等服务。
比如,可以将若干篇存在PC本地的文档通过在RAG形成专有的知识库,并通过自然语言查询,输出内容可包含来自本地文档的专业信息,而且更加自然、有逻辑。
再比如,可以完成本地长文档的摘要等工作,提升生产效率。
不过注意,它对内存容量也有一定的要求,不得低于24GB。