在“strawberry”这个词中，字母“r”出现了多少次？根据GPT-4o和Claude等强大的AI产品的说法，答案是两次。

大型语言模型（LLM）可以在几秒钟内写出论文和解方程式。它们合成数TB数据的速度比人类翻阅书籍的速度还快。然而，这些看似无所不知的人工智能有时会失败得如此惊人，以至于事故变成了病毒式传播的模因，我们都庆幸自己还有时间屈服于我们的新人工智能霸主。

大型语言模型无法理解字母和音节的概念，这反映出了一个我们经常忘记的更大事实：这些东西没有大脑。它们不像我们一样思考。它们不是人类，甚至不是特别像人类。

大多数LLM都基于Transformer（一种深度学习架构）构建。Transformer模型将文本分解为标记，根据模型的不同，标记可以是完整的单词、音节或字母。

“LLM基于这种转换器架构，值得注意的是，它实际上并不是在阅读文本。当你输入提示时，它会被翻译成编码，”阿尔伯塔大学人工智能研究员兼助理教授Matthew Guzdial告诉TechCrunch。“当它看到‘the’这个词时，它会对‘the’的意思有一个编码，但它不知道‘T’、‘H’、‘E’。”

这是因为转换器无法有效地接收或输出实际文本。相反，文本被转换成其自身的数字表示，然后将其置于语境中以帮助人工智能得出合乎逻辑的响应。换句话说，人工智能可能知道“straw”和“berry”这两个词组成了“strawberry”，但它可能不理解“strawberry”是由字母“s”、“t”、“r”、“a”、“w”、“b”、“e”、“r”、“r”和“y”按特定顺序组成的。因此，它无法告诉你“strawberry”这个词中有多少个字母，更不用说有多少个“r”了。

这不是一个容易解决的问题，因为它嵌入在使这些LLM运行的架构中。

TechCrunch的Kyle Wiggers上个月深入研究了这个问题，并与东北大学研究法学硕士可解释性的博士生Sheridan Feucht进行了交谈。

“对于语言模型来说，‘单词’到底应该是什么这个问题很难回答，即使我们让人类专家就完美的标记词汇达成一致，模型可能仍然会发现进一步‘分块’很有用，”Feucht告诉TechCrunch。“我猜，由于这种模糊性，不存在完美的标记器。”

随着LLM学习更多语言，这个问题变得更加复杂。例如，一些标记化方法可能假设句子中的空格总是会位于新单词之前，但许多语言（如中文、日语、泰语、老挝语、韩语、高棉语等）并不使用空格来分隔单词。谷歌DeepMind AI研究员Yennie Jun在2023年的一项研究中发现，有些语言需要比英语多10倍的标记才能传达相同的含义。

“最好的办法可能是让模型直接查看字符而不进行标记化，但现在这对于Transformer来说在计算上是不可行的。”Feucht说。

Midjourney和DALL-E等图像生成器不使用ChatGPT等文本生成器所采用的转换器架构。相反，图像生成器通常使用扩散模型，该模型可以根据噪声重建图像。扩散模型在大型图像数据库上进行训练，并且会激励它们尝试重建类似于从训练数据中学到的东西。

Lesan联合创始人兼DAIR研究所研究员Asmelash Teka Hadgu告诉TechCrunch，“图像生成器在汽车和人物面部等物体上的表现往往更出色，而在手指和笔迹等较小的物体上表现较差。”

这可能是因为这些较小的细节在训练集中并不像树木通常有绿叶这样的概念那样突出。不过，扩散模型的问题可能比困扰transformer的问题更容易解决。例如，一些图像生成器通过对更多真实的人手图像进行训练，在表示手方面有所改进。

“就在去年，所有这些模型在手指识别方面都表现得很糟糕，这与文本识别的问题完全一样，”Guzdial解释道。“它们在局部识别方面表现得非常好，所以如果你看到一只手上有六七根手指，你可能会说，‘哇，这看起来像一根手指。’同样，对于生成的文本，你可能会说，这看起来像一个‘H’，这看起来像一个‘P’，但它们在将这些整体结构化在一起方面表现得非常糟糕。”

这就是为什么，如果你要求AI图像生成器为墨西哥餐厅创建菜单，你可能会得到像“Tacos”这样的普通菜品，但你更有可能找到像“Tamilos”、“Enchidaa”和“Burhiltos”这样的菜品。

随着这些关于拼写“strawberry”的表情包在互联网上流传，OpenAI正在开发一款代号为Strawberry的新AI产品，该产品应该更擅长推理。LLM的发展受到这样一个事实的限制：世界上根本没有足够的训练数据来提高ChatGPT等产品的准确性。但据报道，Strawberry可以生成准确的合成数据，使OpenAI的LLM更加出色。据The Information报道，Strawberry可以解决《纽约时报》的Connections字谜游戏，这需要创造性思维和模式识别才能解决，并且可以解决以前从未见过的数学方程式。

与此同时，谷歌DeepMind最近推出了AlphaProof和AlphaGeometry 2，这两款人工智能系统专为形式数学推理而设计。谷歌表示，这两个系统解决了国际数学奥林匹克竞赛六道题中的四道，这样的成绩足以让他在这项享有盛誉的比赛中获得银牌。