大模型在语言领域的卓越表现让人们对它们在其他科学领域也有出色的表现产生了期待。然而,一项最新研究揭示了这些模型是否能形成连贯的世界观至关重要。研究人员发现,一种流行的生成式AI模型能够在纽约市提供接近完美的逐步导航指引,但却并未真正形成该城市的精确地图。
研究人员认为,这个结果对实际应用中的生成式AI模型具有重要意义。一个在特定情境中表现出色的模型可能会在环境或任务稍有变化时无法适应新的情况。这项研究专注于称为“transformer”的核心类型的生成式AI模型,并通过添加绕行路径来展示其影响。结果表明,所有导航模型都无法正常运行。
还原出这些生成的城市地图后,人们会注意到其中存在一些虚构元素:数百条街道交错重叠在网格之上,经常出现一些随机的跨街桥或者以不可思议的角度交叉的街道。尽管这些模型表现出卓越的导航能力,但当研究人员封闭某些街道并设置绕行路线时,它们的表现却大幅下滑。
这项研究表明,对于生成式AI模型来说,在评估它们是否形成了连贯的世界观方面至关重要。研究人员希望通过大模型在语言领域的出色表现将其应用于其他科学领域,并进行进一步分析和探索。