“下一代可能的计算革命：概率计算”

下一代计算革命：概率计算

模拟计算机曾经统治过世界，在60年代初期，我们转向了数字芯片，精确、确定性和功能强大。但这项技术现在已经达到了物理极限。我们正处于计算领域又一次转变的边缘，即概率计算又称热力学计算。这项新技术不再与热噪音作斗争，而是将其用作计算资源，据报道，与最好的NVIDIA GPU相比，这种方法可以使计算的能效提高1亿倍。

现代任务很多是概率计算

现代经典计算机是由晶体管构成的，它们通过在0和1之间切换来计算。然而我们周围的世界不是二进制的，它受概率规则支配。比如为Uber找到最佳路线或预测天气或金融市场，概率算法要有效得多，而且所有生成式AI任务本质都是概率分布。在经典数字计算机上完成这些算法非常困难且成本高昂，不仅需要大量的晶体管，而且速度太慢之外、非常耗能。

概率计算最早由费曼提出

早在1982年，理查德·费曼就提出，需要构建一种新型计算机进行概率运算，这种计算机本身是概率性的，输出不是输入的唯一函数。现在，麻省理工学院、加州大学、斯坦福大学的研究人员以及Normal Computing和 Extropic 等初创公司都在致力于构建概率计算机。概率计算在某种程度上弥补了经典计算和量子计算之间的差距，因为它能够解决量子问题的子集，同时能在室温下工作。

概率计算的基础：玻尔兹曼定律

概率计算的基础是玻尔兹曼定律，它描述了原子和分子等粒子在系统中的分布情况。从本质上讲，该定律表明粒子更有可能占据较低能量状态，而不是较高能量状态，事实证明，我们可以利用该定律来找到给定系统最可能的状态。系统本质上会搜索许多不同的可能配置，类似于盒子中的气体分子如何移动直到达到平衡状态。

比特、量子比特、概率比特

所有现代经典计算机的基础都是位0和1，CPU 和 GPU 使用这些位来执行逻辑运算。量子计算是基于量子比特，这些量子位同时存在于0和1的叠加中。而概率计算使用概率位，p-bits，它被设计为以纯经典非量子方式在0和1两个状态之间自然波动，这种振荡是由于其热能而发生的。

概率位有不同的构建技术

就像量子比特可以用不同的方式构建一样，概率位也可以用不同的技术构建。例如CMOS加超导材料，CMOS 加磁性材料，就是所谓的MJT。这种磁性存储单元具有从环境中收集噪声并很好地放大这种噪声的显著特性。这使得它们自然地在1和-1之间波动，这正是我们所寻找的特性，即完美可调的p比特。

概率计算机的工作方式是，概率比特从其他p位获取输入并创建一个加权和。基于加权和我们可以从输入平均值得出输出的概率。这跟常见的神经网络类似，但通常我们的神经网络是前馈的，概率计算是将网络作为一个整体进行计算。    这种计算原理与今年诺贝尔物理学奖得主因玻尔兹曼机而获奖非常相似。从数学上讲，概率位模型与这种玻尔兹曼机完全一样，这是一种利用混沌来解决优化问题的神经网络。

Extropic,基于热力学第二定律进行概率计算

Extropic 是一家初创公司，致力于概率计算机并创建基于能量的模型。他们使用热力学第二定律，该定律指出，在自然过程中，孤立系统的总熵总是增加。他们使用系统自然趋势最小化能量作为计算机资源来执行物理过程的计算。设计者通过算法设计，将最终平衡状态设计为想要解决的问题的答案。

使用约瑟夫森结进行计算

Extropic 是使用约瑟夫森结，简称JJ ，来构建速度非常快的概率比特。这些JJ由两个超导体组成，中间由一层薄绝缘层隔开。当能量势垒足够低时，就会产生波动。所以有了这个 JJ，他们创建了大量快速的概率比特，他们对其进行配置并让其运行，并以概率方式探索不同的状态，而由此产生的热力学平衡。这种计算方法对许多现代人工智能计算任务都有优势。例如DALL-E 2，它用于通过首先对其进行噪声化然后对其进行去噪来生成图像，在经典计算机上这需要一段时间，而根据 Extropic 的说法，他们可以在热力学计算机上更快地完成这项工作。

运行Transformer的能效提高1亿倍

他们甚至可以在其上运行Transformer模型，Extropic估计，热力学计算机上的Transformer比GPU Cloud上的Transformer节能高达1亿倍。

正在探索基于COMS技术的计算芯片

Extropic的设备需要再低温下运行，这还因为他们使用约瑟夫森结进行计算，这只能在低温下发生。现在，有很多方法可以使用 CMOS 技术或磁性存储器构建概率计算芯片，而磁性存储器已经具有很好的可扩展性。Extropic 似乎也在研究这个方向。