科技突破,一种新的芯片增加了人工智能的可能性

康托的天堂 2022-11-11 01:24:31

像深度神经网络这样的算法,其灵感大致来自大脑,由多层人工神经元通过称为权重的数值相互连接。但如今,硬件的改进已经跟不上运行这些大规模算法所需的大量内存和处理能力。

即使我们可以继续扩大硬件规模以满足人工智能的需求,还有另一个问题,在传统计算机上运行它们会浪费大量的能源。运行大型AI算法产生的高碳排放已经对环境有害,而且随着算法变得越来越庞大,这种情况只会变得更糟。

一种叫做神经形态计算的解决方案,从生物大脑中汲取灵感,创造节能设计。不幸的是,虽然这些芯片在节约能源方面超过了数字计算机,但它们缺乏运行一个相当大的深度神经网络所需的计算能力。这使得人工智能研究人员很容易忽视它们。

这种情况终于在8月份改变了。研究人员(Weier Wan,H.-S. Philip Wong,Gert Cauwenberghs)展示了一种名为NeuRRAM的新型神经形态芯片,它包括300万个记忆细胞和数千个神经元,内置在硬件中以运行算法。它使用了一种相对较新的存储器,称为电阻性RAM(RRAM)。与以前的RRAM芯片不同,NeuRRAM被编程成模拟方式运行,以节省更多的能源和空间。虽然数字存储器是二进制的(在NeuRRAM芯片中存储1或0模拟存储器单元),但每个单元都可以沿完全连续的范围存储多个值。这使得该芯片可以在相同的芯片空间中存储大量AI算法。

因此,这种新芯片在处理图像和语音识别等复杂的人工智能任务时,可以和数字计算机一样出色。研究人员声称,它的能效提高了1000倍,为微型芯片在智能手表和手机中运行越来越复杂的算法开辟了可能性。

创造新的记忆

在数字计算机中,运行人工智能算法时浪费的大量能量是由一个简单而普遍存在的设计缺陷造成的,它使每一次计算都效率低下。通常,计算机的内存被放置在主板上,远离进行计算的处理器。有点像花8个小时通勤,花两个小时工作。

NeuRRAM芯片可以在内存中运行计算,在内存中,它不是以传统的二进制数字存储数据,而是以模拟频谱存储数据。

要解决这个问题,就需要新的一体机芯片,这种芯片可以把内存和计算放在同一个地方。这也更接近于我们大脑处理信息的方式,因为许多神经科学家认为,计算发生在神经元群体中,而记忆是在神经元之间的突触加强或削弱连接时形成的。但事实证明,制造这样的设备很困难,因为目前的内存形式与处理器技术不兼容。

几十年前,计算机科学家开发了这种材料来制造新的芯片,在存储内存的地方执行计算,这种技术被称为内存计算。但由于传统数字计算机的性能如此之好,这些想法几十年来一直被忽视。

事实上,第一个这样的装置至少可以追溯到1964年,当时斯坦福大学的电气工程师发现,他们可以操纵某些被称为金属氧化物的材料,来开启或关闭它们的导电能力。这一点意义重大,因为材料在两种状态之间切换的能力为传统记忆存储提供了基础。通常,在数字存储器中,高压状态对应于1,低压状态对应于0。

要使RRAM设备切换状态,需要在连接到金属氧化物两端的金属电极上施加电压。通常情况下,金属氧化物是绝缘体,这意味着它们不导电。但当电压足够大时,电流就会积聚起来,最终穿过材料的弱点,形成一条路径到达另一侧的电极。一旦电流突破,它就可以沿着这条路径自由流动。

20世纪中期的研究人员没有认识到节能计算的潜力。直到21世纪初,随着新的金属氧化物的发现,研究人员才意识到这种可能性。但在2004年,三星电子的研究人员宣布,他们已经成功地在传统计算芯片上集成了RRAM存储器,这意味着内存计算芯片可能最终成为可能。

用于人工智能的内存计算芯片

十多年来,研究人员一直致力于将RRAM技术发展到能够可靠地处理高功率计算任务的程度。大约在2015年,计算机科学家开始认识到这些节能设备在大型人工智能算法中的巨大潜力,这些算法开始腾飞。那一年,加州大学的科学家们展示了RRAM设备可以做更多的事情,而不仅仅是以一种新的方式存储内存。它们可以自己执行基本的计算任务——包括在神经网络的人工神经元中进行的绝大多数计算,即简单的矩阵乘法任务。

在NeuRRAM芯片中,硅神经元被内置到硬件中,而RRAM存储单元存储权值。由于NeuRRAM存储单元是模拟的,它们存储的权重代表了当设备在低电阻到高电阻状态之间切换时发生的全部电阻状态。这使得比数字RRAM存储器能达到更高的能源效率,因为芯片可以并行地运行许多矩阵计算,而不是像数字处理版本那样一个接一个地同步运行。

但是由于模拟处理仍然比数字处理落后几十年,仍然有许多问题需要解决。一是模拟RRAM芯片必须异常精确,因为物理芯片上的缺陷会引入变异性和噪声。这大大增加了模拟RRAM设备运行AI算法的难度,因为如果RRAM设备的导电状态每次都不完全相同,那么识别图像的准确性就会受到影响。

他们必须解决的另一个主要问题是支持不同神经网络所需的灵活性。在过去,芯片设计者必须将微小的RRAM设备排列在靠近较大硅神经元的区域。RRAM设备和神经元是硬连接的,没有可编程性,所以计算只能在一个方向上进行。为了支持双向计算的神经网络,需要额外的电线和电路,增加了能量和空间的需求。

因此,研究人员设计了一种新的芯片架构,将RRAM存储设备和硅神经元混合在一起。这个设计上的小改动减少了总面积,节约了能源。几年来,研究人员在NeuRRAM芯片上设计、制造、测试、校准和运行AI算法。他们确实考虑过使用其他新兴类型的存储器,这些存储器也可以用于内存计算芯片,但RRAM具有优势,因为它在模拟编程方面具有优势,而且它相对容易与传统计算材料集成。

他们最近的成果代表了第一个可以运行如此庞大而复杂的AI算法的RRAM芯片,这一壮举以前只可能在理论模拟中实现。

该团队的设计保持了NeuRRAM芯片的微小,同时压缩了300万可作为模拟处理器的RRAM存储设备。虽然它至少可以像数字计算机一样运行神经网络,但该芯片还可以运行在不同方向上执行计算的算法。他们的芯片可以向RRAM阵列的行输入电压,并从列中读取输出,这是RRAM芯片的标准,但它也可以从列到行反向执行,因此它可以用于处理不同方向数据的神经网络。

然而,规模是个问题。现在最大的神经网络包含数十亿的权重,而不是新芯片所包含的数百万。研究人员计划通过将多个NeuRRAM芯片堆叠在一起来扩大规模。

在未来的设备中,进一步降低成本很重要。实现这一目标的一种方法是通过更紧密地复制大脑,以采用真实神经元之间使用的通信信号:电峰值。当细胞内外的电压差达到一个临界阈值时,一个神经元向另一个神经元发出信号。也许有一天,我们甚至能够与人类大脑的860亿神经元和数万亿连接它们的突触相匹配,而不会耗尽能量。

来源:quantamagazine

2 阅读:454
评论列表
  • 2022-11-11 07:41

    360是全世界最牛的网络安全团队,多次发现特斯拉的安全漏洞(也是全世界比赛)。

  • 2022-11-11 07:12

    360对怎么耍流氓,赖在电话上不走的人工智能做的非常没底线

  • 2022-11-11 07:23

    良心是真正的后盾~阿弥陀佛[笑着哭][鼓掌][点赞]

  • 2022-11-12 23:00

    美国现在打仗全改为人工智能作战系统了,还准备训练几年,改变全队员的作战方式

  • 2022-11-11 07:34

    自从激光问世以来,人们在努力开发一种用于计算的光学模拟。

  • 2022-11-11 07:56

    能如贵州大数据一样发展势头。

  • 2022-11-11 07:30

    基础没就乱喊?前几天去济南出差,看到一行字:数字济南、量子济南……还有一个,求补充

康托的天堂

简介:科学如此美妙,我想让你知道