开发出对话聊天机器人Pi的初创公司InflectionAI刚刚发布其最新AI模型,据称这套模型的性能已然超越谷歌和Meta两家的主流替代方案,并且正快速缩小与OpenAI旗舰成果的差距。
InflectionAI是由谷歌旗下DeepMindAI研究小组联合创始人MustafaSuleyman与LinkedIn联合创始人ReidHoffman于今年3月共同建立的企业。短短两个月后,该公司就完成了2.25亿美元融资;到今年6月,InflectionAI又从微软、英伟达等多家知名投资方处额外筹得13亿美元。
Inflection方面表示,这套新模型名为Inflection-2,已经在多种标准基准测试中超越谷歌今年5月发布的PaLMLarge2模型,同时在其他一些指标上击败了由Meta牵头打造的开源Llama2模型。这家初创公司指出,总的来看Inflection在同等体量的模型中表现最佳,目前仅落后于OpenAI发布的体量明显更大的旗舰级模型GPT-4。
公司CEOMustafaSuleyman在接受采访时表示,“我们坚信自己正处于这条扩展曲线的起点,由此延伸出的新功能确实令人无比兴奋。”
新发布的模型很快就会被整合进Inflection于今年5月发布的聊天机器人Pi当中。但Suleyman表示,在此之前还有大量“对齐”工作要做,即让新模型掌握Pi机器人的语气和回答风格,让它帮助Pi更好地发挥作用,并在吸纳最新信息的同时不致产生额外的幻觉。
他解释称,“无论用户想要就种族、性别、政治、OpenAI乃至任何当下富有争议的问题进行敏感对话,Pi都能以非常巧妙、谨慎且尊重事实的方式进行交互,并实时获取信息。”Suleyman还补充道,Pi将在“不久之后”更新至Inflection-2模型,但没有给出具体日期。
他也不愿透露Pi上的用户数量,只强调“Pi非常受欢迎,用户留存率很高。”两周之前,OpenAI表示其免费ChatGPT服务的每周用户数量已达1亿。但就在好消息发布后不久,上周五OpenAI董事会突然发难、解雇CEOSamAltman,上演了举世震惊的“宫斗戏”。
值此业界头部模型开发商身陷混乱的背景之下,我们很难不去关注Inflection此番发布的大语言模型。
有外媒称,拥有1750亿参数的模型被不少业内人士视为“当今世界上第二强的大模型”。就在本周三上午,OpenAI正式宣布Altman将重返公司并继续担任CEO。整个周末,各方盟友已经就Altman的回归展开谈判,OpenAI公司员工还签署一份请愿书,要求董事会成员集体辞职。
而在Inflection这边,Suleyman则坚称这家初创公司已经于今年早些时候筹集到13亿美元资金。但当时他并没有给出Inflection新模型的发布日期,只是在更早的公开言论中暗示可能会在年底前推出。他在最新公告中解释称,这次的发布实际上晚了一星期,模型训练工作早在上周就已经完成。
InflectionAI:Inflection-2超越谷歌、Meta家主流模型,目前仅落后于GPT-4
在Inflection-2的训练当中,该公司使用了5000块英伟达H100图形处理单元(GPU),远少于训练前代Inflection-1时使用的数千块A100。目前H100的零售价超过2.5万美元,内置800亿晶体管,其语言模型运行速度高达英伟达上代旗舰A100GPU的30倍。
InflectionAI还使用H100进行推理,也就是在生产当中运行Inflection-2以处理用户提交的任务。Suleyman还提到,新模型的训练速度更快、成本更低,但同样需要处理大量运算任务(10^25FLOP,即浮点运算)。Inflection已经与微软、英伟达和CoreWeave密切合作以管理其计算集群。
Inflection公司已经在一套流行的高中与专业能力基准(即MMLU)上测试了其最新模型。模型在测试中回答了涉及57个主题的大量问题,具体涵盖世界知识、解决实际问题以及道德判断。
根据InflectionAI的介绍,新模型能够访问升级后的知识库,从而更准确地回答用户查询。Inflection-2还拥有“显著改进的推理能力”,使得模型能够更好地执行代码生成等任务,并对所生成文本的语言风格作出细粒度调整。
不只是优于前身,Inflection-2在与竞争对手的大语言模型比较时同样表现不俗。
Inflection-2与其他模型间的性能比较。
Suleyman表示,Inflection-2的性能优于业界体量领先的700亿参数版Llama2、马斯克初创公司xAI的Grok-1、谷歌的PaLM2Large以及Anthropic的Claude2,目前仅落后于GPT-4。
据Inflection的介绍,新模型在七项科学问答基准测试中,五次击败了Llama2和PaLM2模型;在三项问答任务基准测试中也两次成功登顶,只在一项测试中逊于PaLM2Large。该公司还补充称,尽管模型训练并无明确的领域倾向,Inflection-2还是在四项数学与代码基准测试中获得优异成绩,只是与OpenAI公布的结果相比仍远落后于GPT-4。OpenAI的模型虽然性能更好,但体量也要比Inflection-2更大,意味着其训练需要消耗更多计算资源。
Suleyman指出,虽然似乎只有AI研究人员或开发者会高度关注这样的基准测试结果,但哪怕最微小的改进也足以在“技术原型”和“生产级、高可靠且高质量”模型之间形成关键差异。总的来说,Suleyman表示Inflection-2已经在同等体量模型中遥遥领先,而且在很多方面已经“非常非常接近”最强王者GPT-4。
据悉,InflectionAI手头共掌握着2.2万块H100GPU,相当于训练Inflection-2的GPU数量的四倍有余。该公司在本次发布中强调,他们计划使用这些硬件构建更先进、体量更大的新模型。据报道,从现在开始,Inflection已经将训练重点转移至下一代模型,预计新模型将在六个月内达到Inflection-2的10倍体量,并在接下来的六个月中进一步扩大10倍。(最终体量有望增长至100倍。)
OpenAI管理层大乱斗,给了竞对可乘之机
就在OpenAI管理层大乱斗达成临时和解方案的几小时前,Suleyman敦促公众以“同理心和宽容态度”对待那些被卷入风波的人们。他指出,“很多人的言行完全是出于善意”,还点名提到OpenAI联合创始人IlyaSutskever。Sutskever是最初参与解雇Altman的董事会成员之一,但随后在周日晚间表示对这一决定感到后悔。(目前还不清楚Sutskever是否会继续留在OpenAI,但他在X上点赞了公司及Altman宣布回归的帖子。)
Sutskever曾在2011年为Suleyman工作过,时任DeepMind外包商兼顾问。三年之后,Suleyman将这家AI初创公司卖给了谷歌。Suleyman在谈到Sutskever时表示,“我非常尊重他,这种尊重不仅源自技术水平,也源自他的原则性和真诚的态度。我认为在此次事件中,他和团队中的其他成员都抱有真诚的意图。”
Inflection和Suleyman此前曾就AI安全问题表达过明确态度,并于今年7月自愿签署了拜登总统下达的“关于安全、可靠和可信的AI行政令”。他还发誓不会让聊天机器人Pi回答关于选举的任何问题、或者为政治竞选活动提供材料。Suleyman最新出版了一本名叫《袭来的浪潮》(TheComingWave)的书,详细介绍了AI技术的风险。
在谈到OpenAI非营利董事会及其近期一系列行为、特别是因此在科技领域遭受的诽谤时,Suleyman表示“很明显,他们犯下了一系列非常重大的错误。但我还是希望人们能够宽容一点,把这次事件视为OpenAI发展旅程中的一段小插曲。努力让公司变得更好、做正确的事、通过新的治理结构让全世界更美好,这些才是真正重要的工作。”
但Suleyman本人也秉持典型的资本家思维,在被问及OpenAI的困境(ChatGPT在周一和周二两度陷入短时间瘫痪,大量客户忧心忡忡地关注着事态发展)是否给竞争对手带来了可乘之机时,他并没有予以否认。
“从根本上讲,我办的是一家企业。面对激烈的市场竞争,我们别无选择。当下也是硅谷多年以来竞争烈度最高、创造力最强的时期。”