近日，一家名为Groq的初创公司在AI领域掀起了轩然大波。该公司推出的AI芯片，被宣称在推理速度上超越了英伟达GPU10倍，同时成本仅为其1/10。这一消息引起了业界广泛关注，对整个AI芯片市场产生了深远的影响。

Groq公司成立于2016年，其创始团队中有8人来自谷歌早期TPU核心设计团队。这个团队在AI芯片领域积累了丰富的经验，尤其是在大规模语言模型推理方面。Groq的创始人兼CEO Jonathan Ross曾是TPU原始芯片核心元件的设计者，为谷歌母公司Alphabet设计并孵化了新Bets。这个强大的团队背后为Groq的技术创新提供了坚实的基础。

与市面上常见的GPU、CPU等不同，Groq选择了全新的系统路线——LPU（Language Processing Unit，语言处理单元）。据Groq表示，“我们（做的）不是大模型，我们的LPU推理引擎是一种新型端到端处理单元系统，可为AI大模型等计算密集型应用提供最快的推理速度。”

LPU的推理引擎在运行Llama 2 70B时，输出tokens吞吐量快了18倍，优于其他所有云推理供应商。Groq还在其官网发布了免费的大模型服务，其中包括Mixtral 8×7B-32K、Llama2-70B-4K和Mistral 7B - 8K等三个开源大模型。这些大模型的运行速度接近每秒500 tokens，相较于市面上的ChatGPT-3.5，速度快了约10倍。

然而，Groq的技术创新并非没有争议。有分析认为，Groq的LPU芯片虽然在推理速度上取得了显著的突破，但其运行成本也相应地增加。据一位网友估算，要运行LIama2模型，需要购买约568块芯片，而这将花费高达1171万美元。与之相比，英伟达的H100卡在同等吞吐量下的硬件成本只有Groq的40分之一，能耗成本则只有其1/10。

分析师对此进行了计算，发现运行LLama70B模型需要572张芯片，这引发了关于Groq芯片成本和效益的讨论。业内人士开始对Groq芯片的效益进行热议，与英伟达GPU进行对比，讨论其成本挑战。

尽管Groq的芯片在性能上表现出色，但其成本问题亟待解决。这一争论也反映了AI芯片市场的激烈竞争和技术革新不断推动行业向前发展的现状。随着技术的不断演进，AI芯片市场仍将迎来更多的变革和挑战。

*免责声明：以上内容整理自网络，仅供交流学习之用。如有内容、版权问题，请留言与我们联系进行删除。