Cerebras,Groq同类的AI快速推理平台,Llama370B可达到450token/s的速度

AI神秘探险家 2024-08-29 10:15:16

Cerebras,Groq同类的AI快速推理平台,Llama 3 70B可达到450token/s的速度,API每天免费100万token,但是需要申请,也可以在线使用,只有Llama 3 8B和70B.

我们打开Cerebras官网,可以用谷歌和微软账号授权登录。

登录成功后可以直接使用,我们先用随机的问题来提问,看看速度是不是真的很快?

Llama 3 8B达到1725T/s,还没反应过来,已经回答好了,这速度也太快了吧!

我们再来体验下Llama 3 70B,让它写个WordPress的多语言插件吧!

Llama 3 70B达到446T/s,速度同样很快,回答的也比较详细。

Cerebras目前在线使用只有Llama 3 8B和70B,后续应该会接入更多的开源模型,这么快的速度的确惊艳到咯~

0 阅读:0

AI神秘探险家

简介:研究一切可行性。