科学发现是人类最复杂的活动之一。首先，科学家必须了解现有的知识，并找出一个显著的差距。接下来，他们必须制定一个研究问题，设计并进行实验，以寻求答案。然后，他们必须分析和解释实验结果，这可能会引发另一个研究问题。

这么复杂的过程可以自动化吗？上周，Sakana人工智能实验室宣布创建了一个“人工智能科学家” —— 一个人工智能系统，他们声称，可以在机器学习领域以全自动的方式进行科学发现。

使用像ChatGPT和其他人工智能聊天机器人背后的生成式大型语言模型（LLM），系统可以集思广益，选择一个有前途的想法，编写新算法，绘制结果，并撰写一篇总结实验及其发现的论文，并附有参考文献。

Sakana声称，这种人工智能工具可以承担一项科学实验的整个生命周期，而每篇论文的成本仅为15美元 —— 比科学家一顿午餐的成本还低。

这是一些重要的主张。它们叠起来了吗？即便如此，一群人工智能科学家以非人的速度大量发表研究论文，对科学来说真的是个好消息吗？

计算机如何“做科学”

很多科学研究都是公开进行的，几乎所有的科学知识都被写在某处（否则我们就没有办法“知道”它）。数以百万计的科学论文在arXiv和PubMed等知识库中免费在线提供。

用这些数据训练的LLM掌握了科学语言及其模式。因此，生成LLM能够写出一篇看起来像好的科学论文的东西，也许一点也不奇怪 —— 它已经吸收了许多可以复制的例子。

不太清楚的是，人工智能系统是否能写出一篇有趣的科学论文。至关重要的是，好的科学需要新颖。

但是，它有趣吗？

科学家不想被告知已经知道的事情。相反，他们想要学习新事物，尤其是那些与已知知识明显不同的新事物。这需要对贡献的范围和价值进行判断。

Sakana系统试图通过两种方式解决趣味性问题。首先，它会根据与现有研究的相似度对新论文进行“评分”（在Semantic Scholar知识库中编入索引）。任何太相似的东西都会被丢弃。

其次，Sakana的系统引入了“同行评审”步骤 —— 使用另一位LLM来判断生成论文的质量和新颖性。这里，有很多在线同行评议的例子，比如openreview.net，可以指导如何评论一篇论文。LLM也摄入了这些。

AI可能对AI的输出判断不佳

对于Sakana AI的输出，反馈是混杂的。一些人将其描述为产生“无尽的科学垃圾”。

就连该系统自己对其产出的评估，也认为这些论文充其量只能算是薄弱的。随着技术的发展，这种情况可能会得到改善，但自动化科学论文是否有价值的问题仍然存在。

LLM判断研究质量的能力也是一个悬而未决的问题。一些研究表明，LLM在判断医学研究中的偏倚风险方面并不擅长，尽管这一点也可能随着时间的推移而改善。

Sakana的系统使计算研究中的发现自动化，这比其他需要物理实验的科学要容易得多。Sakana的实验是用代码完成的，这也是LLM可以训练生成的结构化文本。

人工智能工具是为了支持科学家，而不是取代他们

几十年来，人工智能研究人员一直在开发支持科学的系统。鉴于已发表的研究成果数量庞大，即使是找到与特定科学问题相关的出版物也可能具有挑战性。

专门的搜索工具利用人工智能来帮助科学家发现和合成现有的工作。这包括上面提到的Semantic Scholar，也包括较新的系统，如Elicit、Research Rabbit、sciite和Consensus。

文本挖掘工具，如PubTator，更深入地挖掘论文，以确定重点，如特定的基因突变和疾病，以及它们之间的既定关系。这对于管理和组织科学信息特别有用。

机器学习也被用于支持医学证据的合成和分析，如机器人审查器等工具。对Scholarcy论文中的观点进行比较和对比的摘要有助于进行文献综述。

所有这些工具都旨在帮助科学家更有效地完成工作，而不是取代他们。

人工智能研究可能会加剧现有问题

虽然Sakana AI表示，它并不认为人类科学家的作用会减弱，但该公司“完全由人工智能驱动的科学生态系统”的愿景，将对科学产生重大影响。

一个担忧是，如果人工智能生成的论文充斥着科学文献，未来的人工智能系统可能会接受人工智能输出的训练，并经历模型崩溃。这意味着他们在创新方面可能会变得越来越无能。

然而，对科学的影响远远超出了对人工智能科学系统本身的影响。

科学界已经出现了坏人，包括大量生产假论文的“造纸厂”。如果只用15美元就能发表一篇科学论文，而且开头提示很模糊，那么这个问题只会变得更糟。

在堆积如山的自动生成的研究中检查错误的需要，可能会迅速超出实际科学家的能力。同行评议系统可以说已经崩溃了，向系统中倾倒更多质量有问题的研究并不能解决这个问题。

科学的基础是信任。科学家们强调科学过程的完整性，这样我们就可以确信我们对世界（现在是世界上的机器）的理解是有效的，并且在不断改进。

在一个以人工智能系统为关键角色的科学生态系统中，这一过程的意义和价值，以及我们应该对人工智能科学家有多大程度的信任，都引发了一些根本性的问题。这是我们想要的科学生态系统吗？

如果朋友们喜欢，敬请关注“知新了了”！