语言模型开发似乎达了某种程度的天花板，根据外媒报道，OpenAI即将推出的“Orion”模型性能只比GPT-4略胜一筹，这种进展趋缓的情况恐怕影响整个AI产业。

外媒The Information报道，OpenAI下一代大型语言模型代号Orion，性能提升比预期小，GPT-4到Orion的品质改善明显不如GPT-3到GPT-4的改善差异。

重要的是，The Information引述知情人士消息指出，Orion在程序设计等领域并未突破以往，只在语言能力方面有所改善，而且模型运行成本可能比以往更高。

OpenAI研究人员指出，高品质训练数据不足是语言模型进展趋缓的原因之一，大多数公开数据已被用于模型训练。为此，OpenAI内部成立一组“基础团队”（Foundations Team），由研究副总裁Nick Ryder带领，期望解决这方面问题。

Orion是以GPT-4和o1的合成数据进行部分训练，但据OpenAI员工说法，这种方法有新模型在某些方面与旧模型相似的风险。

近日与Y Combinator首席执行官陈嘉兴（Garry Tan）访谈中，OpenAI首席执行官奥特曼（Sam Altman）对模型开发抱持乐观态度。他表示通往通用人工智能（Artificial General Intelligence，AGI）的道路很明确，需要创造性地利用现有模型，可能意指语言模型与o1、AI代理的推理方法结合以达到目的。

不只OpenAI有语言模型进展趋缓的问题，外媒The Verge近期报道，Google即将推出的Gemini 2.0未能达到内部目标。据传创业公司Anthropic暂停旗舰版本Calude 3.5 Opus开发，先发布Calude 3.5 Sonnet，避免让用户和投资人失望。

（首图来源：Unsplash）