编译 | 陈家阳
编辑 | 漠影
智东西4月17日报道,近日,Nature杂志对21世纪以来引用次数最多的25篇论文进行了分析,揭示出一个有趣的现象:在科学界,讲述方法和软件的论文比著名的科学发现更常被引用,这些论文主要集中在人工智能(AI)、研究方法或综述、癌症统计和软件研究等领域。
特别值得关注的是,于2016年发表的《应用于图像识别中的深度残差学习(Deep Residual Learning for Image Recognition)》成为21世纪被引用次数最多的论文,何恺明是该文第一作者,当时正在北京的微软亚洲研究院工作。
此外,Nature在这篇分析中还讨论了其他高被引论文,包括改进的图像处理网络架构“U-net”,开源的“随机森林”(random forest)机器学习算法,谷歌研究人员发表的有关Transformer模型的论文等。
▲Nature统计的21世纪10篇被引用量最高的论文
一、ResNet研究位居榜首,何恺明是第一作者作为计算机视觉和AI领域的顶级科学家,何恺明在学术生涯早期便展现出了非凡的研究才能,在微软亚洲研究院工作期间,因提出深度残差网络(ResNet)而名声大噪。
ResNet解决了深度神经网络训练中的梯度消失问题(即随着网络层数的增加,网络的性能反而可能下降),使得研究人员能够训练约150层的神经网络,比以往使用的神经网络层数多5 倍以上。
该论文在2015年底作为预印本发布,2016年正式发表,随后于ImageNet竞赛中得到验证,并促进各种图像识别任务取得了突破性进展。
ResNet的影响力不仅限于计算机视觉领域,其思想也被广泛应用于现代深度学习模型中。能够下棋的AlphaGo、预测蛋白质结构的AlphaFold以及大语言模型GPT等AI工具的出现,都离不开ResNet,它使神经网络能够达到前所未有的深度,重新定义了深度学习的潜力边界。
“在ResNet之前,‘深度学习’并没有那么深入,”目前在麻省理工学院工作的何恺明说。
作为“深度学习三巨头”之一的杨立昆,曾在采访中对ResNet研究取得的成就表示赞赏,“这显示了全球范围内都存在着杰出的科学家,并且创新的灵感可以源自世界的任何一个角落。”
二、21世纪,AI领域论文的黄金时代“AI教父”杰弗里·辛顿(Geoff Hinton)表示,AI领域的论文在引用方面具有天然优势,这些领域的论文与许多学科相关,特别是在21世纪AI行业实现快速发展。
不少人把深度学习革命归功于辛顿在2012年合著的一篇论文,其中提到的名为“AlexNet”的网络,在识别和标记图像时以压倒性优势击败了其他方法。这篇论文在此次排名中位列第八,而辛顿另一篇关于深度学习的综述论文排名第十六。
在提出AlexNet三年后,一篇有影响力的论文介绍了名为“U-net”的网络,可以用更少的训练数据来处理图像。该论文现在排名第十二位。其合著者之一奥拉夫·伦内伯格(Olaf Ronneberger)因该论文被DeepMind招募。
2017年,谷歌研究人员在发表的《“注意力就是你所需要的(Attension is All You Need)”》 一文中首次提出了Transformer神经网络架构,通过自注意力机制(self-attention)来提升大型语言模型的性能。这篇论文在本世纪高被引论文中排名第七。
在机器学习领域,许多早期的学术论文是开源的,这也提高了其引用次数。《随机森林(Random forest)》得益于提出开源、免费且易于使用的机器学习算法,而引用量激增,在此次排名中位列第六。
结语:科学方法与软件是影响论文引用量的重要因素引用,是作者在文献中核实知识来源的方式,是衡量论文影响力的重要标准之一。
Nature通过研究分析表明,被引用次数最多的论文,通常不是介绍著名的科学发现,而是倾向于描述科学方法或软件,即科学家所依赖的基础工具。
“科学家们说他们重视方法、理论和经验发现,但实际上方法被引用得更多,”密歇根大学安娜堡分校的社会学家米沙·特普利茨基(Misha Teplitskiy)指出。这些高引用论文,不仅展示了它们在学术界的影响力,也反映了科学界对方法的广泛认可和应用。