训练Llama4模型所需算力将是3.1的10倍,黄仁勋的皮夹克不便宜啊

科技每日十点见 2024-08-01 18:29:19

北京时间8月1日,Meta 公司发布第二季度财报,在财报财报电话会议上,Mark Zuckerberg (马克·扎克伯格)表示,Meta已经在为训练Llama 4做准备,它需要的算力几乎是Llama 3.1的10倍。

Llama 3.1 的最大版本拥有4050亿参数,使用超过16,000个英伟达的高价H100 GPU进行训练。Meta没有透露开发Llama 3.1的成本,但仅从英伟达芯片的成本来看,可以推测其费用达到数亿美元。

而如果下一代模型所需算力是现在 10 倍的话,这意味着,训练一个超大模型的成本将达到数十亿美元。这个成本可不是随便哪一家公司能够承担的。

第二季度,Meta 单季度资本支出为 84.7 亿美元。2024 年全年的资本支出将在370亿至400亿美元之间,较之前的350亿至400亿美元的预期有所上调。

Meta CFO Susan Li 表示,预计2025年的资本支出也将显著增长,以支持 Meta 的人工智能研究及产品开发工作。同时,她在财报电话会议上强调,公司最近在AI方面的投资“将在更长的时期内产生财务回报”。

而Zuckerberg直言不讳地解释了为什么Meta要在这些未来回报之前在英伟达硬件和其他基础设施上投资数十亿美元。“很难预测这种趋势在未来多代产品中会如何发展,但在这一点上,我宁愿冒险提前建立产能,也不愿为时已晚。”

他再次表示,Meta AI助手有望在年底前成为全球使用最广泛的AI助手。虽然他吹嘘生成式AI功能“是我认为会增加我们产品参与度的东西”,但他说真正的收入将来自商业化应用,比如AI从零开始创建广告,以及让企业在WhatsApp中运营自己的AI代理来服务客户。

第二季度,Meta 交出了一份漂亮的业绩。公司营收略超390亿美元,同比增长22%;利润约135亿美元,同比增长73%。每天有32.7亿人使用Meta旗下至少一款应用。

这种规模和资金实力使 Meta 能够进行大手笔投资。

Meta的AI科学家Thomas Scialom日前透露,Meta已经在6月开始训练Llama 4模型,而且重点可能围绕agent技术,并且已经在Toolformer等agent工具上进行了一些工作。

Zuckerberg 在他最近撰写的题为《开源AI是未来发展之路》的公开信中表示,今年,Llama 3可与最先进的模型相媲美,并在某些领域处于领先地位。从明年开始,我们预计未来的Llama模型将成为业内最先进的大模型。

两天前,在美国丹佛举行的第51届SIGGRAPH图形大会上,Zuckerberg 还与英伟达创始人兼首席执行官黄仁勋展开了一场“炉边谈话”。

黄仁勋高调夸赞了Meta在人工智能领域的探索,称Meta的Llama 2.1开源大模型是去年AI界最大的事件,而Zuckerberg则回应称,最大事件应该是英伟达H100的发布。

谈话的最后,二人还互换了夹克,Zuckerberg送给黄仁勋一件带有帽子的黑色皮毛夹克;黄仁勋则把自己才穿了两个小时的标志性皮夹克送给了Zuckerberg。

看到Meta未来需要 10 倍算力,“皮夹克”黄仁勋估计开心得不得了。

0 阅读:21

科技每日十点见

简介:感谢大家的关注