揭秘——那些拥抱AI的程序员是如何免费使用大模型Llama的?

研发玩点艰辛事 2024-09-23 02:31:36

在介绍免费使用攻略前,先介绍下Llama3这个大模型是个啥?

不久前在AI世界的计算能力底座最强王者--NVIDIA 创始人兼首席执行官黄仁勋表示:“成熟的企业平台坐拥数据金矿,这些数据可以转化为生成式 AI 助手....".当然这里主要是指的大模型技术,相对应的在开源的大模型中又数Llama3最为耀眼,因为Llama 3 70B 的表现已经达到甚至超过之前的 Claude 3 Sonnet 和 Gemini 1.5 Pro,甚至比早前推出的 GPT-4 型号还要强悍,更厉害的是其被支持的速度(AWS、Microsoft, Azure、谷歌云和百度智能云 等主要平台也已宣布支持 Llama 3 的训练、部署和推理操作), 以及其价格优势。

(注:有兴趣的同学可以查看:llmpricecheck.com这个各大模型定价对照表, 该对照表由基于chatgpt支持的AI写手来编写整理)

作为开发者,我们怎么样才能免费去开发体验,玩一玩Llama3这些大模型呢?,下面依次介绍几种较为直接的免费使用方式。

1)Nvidia面向开发者的大模型体验地址

该平台提供了对话,代码生成,数字人,3d图像,图片理解,语音识别,音频面对面,生物学,卫生保健,图片修改,推理,氨基酸预测,路线规划预测等训练模型。

该平台会提供免费注册及提供免费的api密钥和基于python, langchain,nodejs,docker等多种示例代码。

nviadia平台部署的大模型列表

在nviadia平台获取api key

一个基于llama模型的chat请求示例

2)HuggingFace

地址:huggingface.co/chat/ (https需要自己加),需要先注册一个HuggingFace账号。

注:因为防火墙的缘故,可以使用国内的镜像: hf-mirror.com

重要因素是大小,也就是参数量。一般模型参数量写在名字里面,比如 Dolphin 2.6 Mistral 7b – DPO Laser 就是7B大小,也就是70亿参数。根据您的电脑内存和显存容量选(CPU运行就看内存,GPU运行就看显存,混合运行就两个加起来),例如:您 的电脑是16G显存,用的7B模型。

然后就是模型指标,现在huggingface上有成百上千个LLM,可以根据benchmark的成绩选,

最后就是模型是否经过审查。

3)使用 llama官方

llama官方地址:llama2.ai (https需要自己加)

llama2.ai

4)Meta 旗下平台.

地址:llama.meta.com/llama3/ (https需要自己加)

5)本地部署并体验Llama3.

地址: lmstudio.ai (https需要自己加)

附:参考资料

llama3的官方博客:https://ai.meta.com/blog/meta-llama-3/

llama模型下载地址:https://llama.meta.com/llama-downloads/

0 阅读:0

研发玩点艰辛事

简介:感谢大家的关注