OpenAI将落后于最新版本的旗舰人工智能模型的开发计划，它将被称为GPT-5，目前它的代号为Orion。该公司已经做了18个月，试图达到预期的结果，但失败了-世界各地缺乏足够的数据来使模型足够聪明。
图片来源：Maria Shalabaieeva/unsplash.com
OpenAI 已经进行了至少两次大型训练运行，每次都涉及数月的数据处理，以完成 Orion。每次都会出现新问题，系统没有产生研究人员希望的结果。在目前的形式下，Orion 的性能优于现有的 OpenAI 系统，但据开发人员称，它还不够先进，不足以证明维持新模型正常工作的巨大成本是合理的。仅计算成本一项，六个月的培训就可能花费约 5 亿美元。
两年前，OpenAI 及其首席执行官 Sam Altman 发布了 ChatGPT，掀起了波澜。当时，人工智能似乎将渗透到现代人类生活的方方面面，并显著改善它。分析师预测，未来几年，科技巨头将在 AI 上花费高达 1 万亿美元。最大的责任在于 OpenAI，它引发了 AI 的繁荣。
该公司10月份的融资估值为1570亿美元，这不仅是因为Altman承诺在GPT-5的所有领域和任务上实现“重大飞跃”。预计该模型将做出科学发现，并轻松完成日常的人类任务，如预约和预订飞机票。研究人员还希望她学会怀疑自己的正确性，并减少“幻觉”--不再自信地给出错误的答案。
如果我们假设GPT-4是在高中学生的水平上运行的，那么GPT-5的某些任务就需要博士的水平。没有明确的标准来确定下一代模型是否值得称为GPT-5：系统是在数学和编程问题上进行测试的，但最终的判断是由研究人员在直觉的层面做出的，而这至今还没有发生。关于开发大型语言模型，据说这不仅是一门科学，也是一门艺术。
图片来源：Growtika /unsplash.com
模型在训练运行期间进行测试 — 在训练运行期间，数万亿个标记（即单词片段）被发送给它们。一次重大的培训启动可能需要数月的数据中心运营和数以万计的 Nvidia AI 加速器。根据阿尔特曼的说法，GPT-4 训练花费了 1 亿美元;预计未来模型的训练成本将超过 10 亿美元。研究人员正试图通过进行较小规模的实验来降低此类失败的可能性——在全面实验之前进行试运行。
在2023年年中，OpenAI进行了一次模拟发射，作为一个对Orion架构的测试--实验结果并不明显：很明显，全面的模拟发射将花费太长时间，而且成本太高。Arrakis项目的结果表明，GPT-5的开发并不像研究人员所希望的那样顺利。他们已经开始进行一些技术上的改变，以加强Orion，并得出结论，需要大量的高质量数据，而公共互联网上的信息可能还不够。
人工智能模型通常会随着大量数据的吸收而变得更聪明--通常是书籍、学术出版物和其他可靠来源，这些数据有助于人工智能更清晰地表达自己，并应对各种挑战。在训练之前的模型时，OpenAI也没有忽视其他来源，比如新闻文章，甚至社交媒体。但要使Orion更聪明，需要更多的数据源，而这还不够。然后，公司决定自己创建这些数据：聘请人编写代码并解决数学问题，这些问题对他们的行为提供了逐步的解释。OpenAI吸引了理论物理学家，他们解释了他们将采取什么方法来解决他们领域中最困难的问题。
这个过程非常缓慢。GPT-4已经接受了13万亿个代币的培训，相比之下，一千个每天写5000个字符的人将在几个月内产生10亿个代币。因此，OpenAI开始开发合成数据，迫使其他AI系统生成数据来训练新AI。但研究表明，人工智能数据生成之间的反馈循环可能会导致失败或毫无意义的回应。为了解决这个问题，将数据的生成委托给另一个模型-o 1。
图片来源：Maria Shalabaieeva/unsplash.com
到了2024年初，OpenAI的管理层开始意识到时间紧迫。GPT-4已经过去了一年，竞争对手开始赶上，新型号Anthropic，据一些估计已经超过了它。Orion项目停滞不前，OpenAI不得不转移到其他项目和应用程序：一个轻量级的GPT-4版本和Sora视频生成器。这导致了内部竞争，Orion和其他产品的开发人员争夺有限的计算资源。
与此同时，人工智能开发者之间的竞争变得激烈，以至于大型科技公司发表的关于最新发现或突破的文章比学术界普遍接受的要少。随着资金流入市场，企业开始将研究结果视为商业秘密，应该受到保护。到了这样的地步，研究人员停止在飞机、咖啡馆和其他公共场所工作，在那里有人可以通过肩膀看到。
在2024年初，OpenAI准备了另一次Orion的发射尝试，配备了更好的数据集。在今年的头几个月，研究人员进行了几次小规模的学习发射，以了解下一步工作的方向。到了5月，他们决定准备进行猎户座的大规模发射，并将持续到11月。但在早期阶段，与数据相关的问题已经被暴露出来：它们的多样性不如预期，这限制了AI学习的潜在质量。这个问题并没有出现在试验项目中，直到大规模发布开始后才变得明显--但到那时OpenAI已经花费了太多的时间和金钱来重新开始。研究人员试图在训练过程中找到更广泛的数据来传输模型，但目前尚不清楚这一策略是否有效。
Orion的困难表明OpenAI是如何使大语言模型更聪明的一种新方法-推理。推理能力有助于AI解决它没有学习过的复杂问题。OpenAI o 1模型就是这样设计的，它会为每个问题生成多个答案，然后分析它们，以寻找更好的答案。但这一点还不确定：苹果的研究人员认为，“推理”模型可能只是解释学习数据，但实际上并没有解决新的问题。例如，如果对初始问题进行小的修改，与解决问题无关，人工智能的响应质量就会急剧下降。
