Meta AI隆重推出Llama3.1 4050亿参数模型，Llama 3.1 4050亿参数大模型是第一个公开可用的模型，在常识、可操纵性、数学、工具使用和多语言翻译等先进功能方面可与顶级 AI 模型相媲美。

其模型上下文长度扩展到 128K、增加了对八种语言的支持。在 150 多个涵盖多种语言的基准数据集上评估了性能。此外，还进行了广泛的人工评估，在真实场景中将 Llama 3.1 与竞争模型进行了比较。实验评估表明，旗舰模型在一系列任务中与领先的基础模型相媲美，包括 GPT-4、GPT-4o 和 Claude 3.5 Sonnet。

作为 meta 迄今为止最大的模型，在超过 15 万亿个 token 上训练 Llama 3.1 4050 亿参数模型 是一项重大挑战。为了能够以这种规模进行训练并在合理的时间内取得成果，meta 显著优化了整个训练堆栈，并将模型训练推向超过 16,000 个 H100 GPU，使 4050 亿参数模型成为第一个以这种规模训练的 Llama 模型。与之前的 Llama 版本相比，meta 提高了用于训练前和训练后的数据的数量和质量。这些改进包括为训练前数据开发更仔细的预处理和管理流程、开发更严格的质量保证以及训练后数据的过滤方法。

为了支持 40500 亿参数规模模型的大规模生产推理，meta 将模型从 16 位 (BF16) 量化为 8 位 (FP8) 数字，有效降低了所需的计算要求并允许模型在单个服务器节点内运行。Meta 选择了标准的仅解码器的变压器模型架构，并进行了细微的改动，而不是混合专家模型，以最大限度地提高训练稳定性。采用了迭代式后训练程序，每轮都使用监督式微调与偏好优化。这能够为每一轮创建最高质量的合成数据，并提高每项功能的性能。

本地部署Llama3.1 4050亿参数模型

Llama系列的部署过程，前期我们已经介绍过相应的过程，包括，以及如何，而 ollama也是第一时间支持了Llama 3.1 4050亿参数大模型，可以根据往期的内容下载 ollama，并进行对应的安装，然后启动 ollama，并在cmd终端窗口中输入如下指令下载Llama 3.1 4050亿参数大模型：

ollama run llama3.1 8b 模型 4.7G 模型ollama run llama3.1:70b 70b模型 40G 模型ollama run llama3.1:405b 405b模型，231G 大模型

这里根据自己的电脑配置下载对应的模型即可，而 4050 亿参数大模型已经达到了 231G，一般的电脑配置确实很难跑出来。这里可以体验一下 8b与 70b参数的模型，其速度与自己的电脑配置️关系，而Llama 3.1 4050亿参数大模型是在16,000 个 H100 GPU上训练的，因此想达到 4050 亿参数的模型效果，需要特殊的设备了。

NVIDIA在线使用Llama3.1 4050亿参数模型

NVIDIA绝对是人工智能时代的强者，任何大模型公司都需要使用GPU进行大模型的训练，而NVIDIA也是在自己的官方网站上上线了Llama 3.1 4050亿参数大模型，无需任何部署，直接打开网站就可以使用Llama 3.1 4050亿参数大模型。

直接在官方网站上，使用 4050 亿参数的模型，体验一下，其速度极快，果真还是NVIDIA强大的GPU作为算力支持，才能体验大模型的魅力。

而NVIDIA也提供了API接口，直接使用相关代码也可以直接使用。

from openai import OpenAIclient = OpenAI( base_url = "https://integrate.api.nvidia.com/v1", api_key = "$API_KEY_REQUIRED_IF_EXECUTING_OUTSIDE_NGC")completion = client.chat.completions.create( model="meta/llama-3.1-405b-instruct", messages=[{"role":"user","content":"hello"}], temperature=0.2, top_p=0.7, max_tokens=1024, stream=True)for chunk in completion: if chunk.choices[0].delta.content is not None: print(chunk.choices[0].delta.content, end="")

而如何获取API，可以直接到NVIDIA官方网站进行注册获取，但是其网站提供的模型可以直接使用，无需注册。

Hugging face使用Llama3.1 4050亿参数模型

hugging face已经上线了Llama 3.1 4050亿参数大模型的预训练模型，可以直接到 hugging face 上面下载相关的模型进行使用，而使用 llama 系列的也可以直接使用 transformers库进行使用，喜欢玩代码的小伙伴，可以根据 GitHub 代码，或者 transformers库进行代码的使用。

import transformersimport torchmodel_id = "meta-llama/Meta-Llama-3.1-8B-Instruct"pipeline = transformers.pipeline( "text-generation", model="meta-llama/Meta-Llama-3.1-8B-Instruct", model_kwargs={"torch_dtype": torch.bfloat16}, device="cuda",)

在使用此代码前，需要到 meta AI上面获取模型权限并下载对应的模型就可使用，但是依然是那句话，需要根据自己的电脑配置进行使用，而最简单的方式是使用 ollama进行本地的安装使用。当然直接使用NVIDIA官方网站提供的界面是一个不错的选择。

https://build.nvidia.com/explore/discoverhttps://ai.meta.com/blog/meta-llama-3-1/https://huggingface.co/collections/meta-llama/llama-31-669fc079a0c406a149a5738fhttps://github.com/meta-llama/llama-models

无论是NVIDIA还是 ollama都是紧跟 llama 的步伐，当 llama 模型首次发布，其 2 者便会提供对应的版本进行支持。