一年快到头了,OpenAI面临着前所未有的尴尬局面:反响不大的发布会,接连出走的核心人员,以及持续不断地烧钱大战。
昨夜据TheInformation消息,OpenAI又一位元老级研究人员AlecRadford即将离职,寻求独立研究的机会。与以往的「明星」出走不同,AlecRadofrd并不为人所知的名字,而是真正的幕后英雄。
作为GPT论文的主要作者,AlecRadford的贡献包括了GPT、GPT-2、CLIP等多个重要研究,论文被引用超过18万次,并且参与了GPT-2、语音模型Whisper以及Dall-E的开发——称他为OpenAI所有重大技术突破的「幕后推手」,一点都不为过。
早在2015年起,AlecRadford就投身于研究卷积网络、batchnorm和GAN等核心技术的研究。2016年,他加入OpenAI,成为早期团队的一员。刚进入OpenAI时,他就在尝试用不同大小的数据集,来训练模型对下一个单词进行预测,从而生成文本。
等到2017年,划时代的论文「AttentionIsAllYouNeed」发布,改写了计算机领域接下来的走向。Ilya看到了这篇论文,鼓励Alec继续沿着这条道路深入研究下去,他才逐渐意识到数据量的重要性。
如今,包括Ilya在内的其他早期核心成员如MiraMurati,AndrejKarpathy,BobMcGrew,JohnSchulman等人,都已经悉数离职。
相比于其他成员,AlecRadford一直显得很低调。社交媒体上的内容停留在2019年,基本上也跟研究相关。
实际上,十月时就有传言他将离开OpenAI。后来,OpenAI迎来了接二连三的人事动荡,近期又有持续12天的发布会,一下子还真没让人联想到核心人员又走一个。
相比于AlecRadford加入时,如今的OpenAI人多钱多。去年年初,OpenAI筹集了100亿美元。但再过18个月左右,OpenAI将需要另一笔资金注入:据纽约时报,这笔钱已经被消耗的差不多了。毕竟对于这家AI巨头而言,一年的支出就可以超过50亿美元。
OpenAI的开支不断增加,影响了它从非营利组织转向成为营利机构的主要原因之一。OpenAI最初是一家研究实验室,使命是为安全可用的通用型人工智能(AGI)铺平道路。但是在今年,它的目标已经变成转型成为一家营利公司。
在接下去的几年里,OpenAI必须筹集数十亿美元的额外资金,保证自身的运转以及更多的突破。
AlecRadford开发的模型及其预训练的方式,的确在许多方面颠覆了计算机技术的开发方式。但在所有颠覆发生之前,工程师们首先要做的是,为这些系统提供大量数据。
就像学生通过阅读更多书籍来学习更多知识一样,AI通过吸收更大的数据来提高其技能。像ChatGPT这样的聊天机器人,通过吸收互联网上几乎所有的文本材料来学习和提高自身的表现。这也是AlecRadford找出的路线范式。
「想象一下需要一遍又一遍地阅读互联网,」投资人工智能初创企业的风险投资公司RadicalVentures的合伙人DavidKatz)说,「这是世界上计算最密集的任务。」
这背后,需要大型数据中心提供越来越强大的计算能力。数据中心内的计算机则需要配备数千个专用计算机芯片(GPU),每个芯片的价格可能超过30,000美元。数据中心运营商Colovore的首席执行官SeanHolzknecht对纽约时报说,这种新型计算设施的成本是传统数据中心的10到20倍。
这些芯片需要时间训练,而每次的训练成本就有可能高达数亿美元。用于完成这些计算工作所需的芯片、数据中心加在一起,再算上电力供应,训练的成本一升再升。
实际上,除了OpenAI,还有Google、微软等公司,目前都正在努力扩大构建其技术所需的全球数据中心。他们计划投入数千亿美元来增加每年生产的计算机芯片数量,将它们安装在世界各地的设施中,同时还要确保运行所需的电力。
当这些公司免费向消费者提供聊天等基于大模型的服务时,这些成本就显得尤为沉重。其中一些公司向用户收取订阅费用以使用其最强大的技术——即便如此,也可能无法收回交付成本。
这也是为什么在过去的十一天里,OpenAI的发布会透露对于盈利的迫切追求。
「如果你试图追逐像科幻小说那样的水平,」前谷歌研究员、开发类似技术的初创公司Cohere联合创始NickFrosst表示,「成本将不断上升。」
人工则是另一项支出大头,根据Bloomberg的报道,OpenAI的AI工程师,年薪比非AI同行高出8%到12.5%。
从OpenAI在网站上列出的工程师职位来看,最常见的薪资范围是20万美元到37万美元,一些更专业的职位广告薪资范围从30万美元到45万美元,高级工程师的年薪可高达80万美元,底薪为60万,薪资增幅可达30%。此外,某些职位的员工可以获得高达1000万美元的公司股权和其他福利。
左:OpenAICEOSamAltman,右:OpenAI前首席科学家IlyaSutskever,现已离职
就在这个关口,新一代的推理模型o3也传出风声——不是跳级,而是为了避嫌o2这个名字,跟英国电信服务商重名了,可能会导致商标问题所以才这样称呼。据称这将是采新型训练方式Orion开发的新一代推理模型。
这情节,看上去很熟悉啊——MiraMurati的离职官宣,正是在OpenAI发布高级语音模式的第二天。
难道AlecRadford也是真-使命已达,所以下定决心离开的?还剩最后一天的发布会,我们拭目以待。