NVIDIA 新开源的模型 Nemotron 3 Nano,是个MoE模型,由23个Mamba-2和MoE层以及6个注意力层组成。总参数30B,激活3B。跑分不错。使用Qwen做过微调,但不支持中文。

NVIDIA 新开源的模型 Nemotron 3 Nano,是个MoE模型,由23个Mamba-2和MoE层以及6个注意力层组成。总参数30B,激活3B。跑分不错。使用Qwen做过微调,但不支持中文。

猜你喜欢
【29评论】【40点赞】
【53评论】【47点赞】
【5评论】【2点赞】
【2评论】【2点赞】
【143评论】【26点赞】
作者最新文章
热门分类
科技TOP
科技最新文章