强化学习大佬Rich Sutton教授在DAI 2024大会上放了个大招
朋友们，今天我们聊聊AI圈的一场“地震”！ 现代强化学习的奠基人Rich Sutton教授，最近在第六届国际分布式人工智能会议DAI 2024上，发表了一个重磅演讲，主题是“去中心化神经网络”。 这直接指出了当前深度学习的局限性，并且给我们指明了一个全新的发展方向！ 听起来是不是有点高深？别慌，我用最通俗易懂的方式，带你扒一扒这个“去中心化神经网络”到底是怎么回事，以及它为什么能引起AI圈的轰动！
深度学习的“中年危机”？大家可能觉得深度学习已经很牛了，能识别人脸，能聊天，还能下围棋。 但Sutton教授却说，深度学习已经面临“中年危机”了。 他提出了三个问题：灾难性遗忘、可塑性丧失和模型崩溃。 啥意思呢？ 简单说，就是深度学习学新东西的时候，会忘旧东西，而且越学越笨，甚至还会彻底“崩溃”。 就像我们人类，年纪越大越难接受新知识，越容易“固执”。 之前我在其他文章里也提到过，深度学习的持续学习能力不足，而这次演讲，算是给深度学习敲响了警钟！
让AI识别鳄鱼和吉他，学会了之后再让它学新的类别，AI的学习能力直接下降
举个例子，Sutton教授团队在《Nature》上发表的文章就提到，让AI识别鳄鱼和吉他，学会了之后再让它学新的类别。结果，随着学习任务的增加，AI的学习能力直接下降，最后还不如一个简单的线性模型。 这就像给你一堆新单词，你学完前面的就把后面的忘了，越学越差劲！ 还有，让AI控制蚂蚁走路，刚开始蚂蚁走的挺好的，但训练时间一长，就开始“摆烂”，最后直接不走了！ 这种“崩溃”现象，就像我们熬夜加班，最后啥都干不好。 这就说明，深度学习在持续学习方面还有很大的提升空间。
去中心化神经网络：给AI“松绑”？为了解决深度学习的“中年危机”，Sutton教授提出了“去中心化神经网络”的全新概念。 它的核心思想是，让每个神经元都有自己的目标，而不是像传统神经网络那样，只有一个整体目标。 想象一下，传统神经网络就像一个集权公司，老板说了算，员工只能按命令干活。 而去中心化神经网络，就像一个去中心化的社区，每个人都有自己的想法，还能互相协作，最终实现共同目标。 怎么样，是不是有点意思？
Sutton教授认为，每个神经元应该有独立的“追求”，比如，向其他神经元传递有效信息，或者保持自身活跃。 有些神经元负责“打基础”，稳定网络，就像公司里的老员工； 有些神经元负责“搞创新”，不断尝试新方法，就像公司里的新员工。 通过鼓励边缘神经元积极探索，同时保持骨干神经元的稳定性，整个网络就能实现动态平衡，持续学习。 这个想法是不是很像我们的社会？ 有稳重的基石，也有不断探索的先锋。
持续反向传播：让AI“活”起来？为了让“去中心化神经网络”更好地运转，Sutton教授还提出了一个创新算法，叫做“持续反向传播”。 这个算法的核心就是，在每次反向传播的时候，会根据神经元的活跃度，选择性地重新初始化一部分神经元。 这就像给AI的“大脑”做一次“大扫除”，让那些“不活跃”的神经元重新焕发活力，从而提升整个网络的灵活性和学习效果。 这有点像我们定期复习，把之前学过的知识重新巩固一遍，防止遗忘。
实验数据也表明，在多个持续学习任务中，这个“持续反向传播”算法的表现，比传统的反向传播算法要好得多！ 这说明，Sutton教授的“新疗法”确实有效果！ 这个新方法，为持续学习领域开辟了一条新的道路，让我们看到了AI未来发展的更多可能性。
神经元也“有想法”？其实，Sutton教授提出的“去中心化”思想，并不是横空出世的。 早在现代强化学习的“祖父辈”A·哈里·克洛普夫的著作《享乐主义神经元》中，就提出了“单个神经元是一个寻求目标的实体”的观点。 他认为，神经元会像人一样，追求自身的兴奋，避免被抑制。 这就很像在说，每个神经元都有自己的想法，有自己的“小算盘”。 而且，通过对培养中的真实神经元观察，研究人员发现，神经元会伸出纤维，积极寻找与其他神经元的连接。 这也证明，神经元本身就具备积极探索的特性，为“去中心化神经网络”的理念提供了有力支持。
在传统的深度学习中，网络结构都是固定好的，就像一个预制好的“罐头”。 而去中心化神经网络更像是一个“生态系统”，神经元会主动建立连接，调整权重，甚至连学习速度都能自我调节。 就像一片森林，树木会不断生长，互相竞争，最终形成一个充满活力的整体。 这种模式，是不是比“罐头”更灵活，更有生命力？
连接、权重、步长：AI的“三板斧”？在“去中心化神经网络”中，适应性是一个非常重要的环节。 主要体现在三个层面：连接线、权重和步长参数。 连接线决定了神经元之间的关系； 权重决定着信息传递的强弱； 步长参数则决定了学习的速度。 这“三板斧”，就像我们在学习新知识时，需要建立联系，加深理解，调整进度。
在具体实现上，去中心化神经网络会区分“骨干网络”和“边缘部分”。 “骨干网络”是已经学到的知识，负责处理主要任务； “边缘部分”则负责积极探索，尝试新的功能。 为了让“边缘部分”也充分发挥作用，Sutton教授提出，让每个神经元控制传入的权重，而不是像传统的神经网络那样，都由中心“大脑”来控制。 就像给每个神经元都发一个“方向盘”，让它们自己决定怎么走。
未来：AI的“百家争鸣”？Sutton教授的“去中心化神经网络”和“持续反向传播”算法，为解决深度学习的局限性，提供了新的思路。 这可能意味着，未来的AI 将不再是集中化的“超级大脑”，而是由众多独立的“小脑”组成，每个“小脑”都有自己的目标，互相协作。
现在我们AI的发展还处于初期，但Sutton教授的演讲提醒我们，要用更谦虚的态度对待AI。他认为，我们应该认识到，AI的进步不只是为了变得更强大，更是为了更好地理解我们自己。 也许有一天，AI会像百家争鸣一样，不同的方法、不同的理念相互碰撞，形成更加丰富多彩的局面。
朋友们，看完这篇文章，是不是感觉自己对AI又有了新的认识？Sutton教授的“新理论”到底能不能颠覆深度学习？我相信，时间会给我们答案。
那么，你对“去中心化神经网络”有什么看法？你觉得未来的AI会是什么样子？欢迎在评论区留言，一起聊聊！
关注我 mytoolsAI，带你了解每日最新人工智能，AI信息！
作者：Leo
审核：nash
