“我们从未给AI权限去左右人类命运，但它们的作用已然超出了工具的范畴。”

口述 / 吴晓波

试想一下，如果有一天，有很多由AI发布的消息在社交平台引战，甚至你发布每一条帖子，在屏幕另一边和你激烈辩论的都是AI，你还会继续回应吗？

昨天在社交平台看到一个由女性话题引发的论战，争论双方言辞激烈，势如水火。

脑中突然蹦出之前看到的一句网友留言：“仔细想想，谁知道那些热度帖子是不是算法自己在搞鬼提高热度，我们特意跑到那里去回应就显得非常愚蠢。”

我们过去认为，新闻报道、公众情绪都是人类自身的表达，但在AI时代，情绪、意见或许都在技术的隐秘操纵之下。

一周前，一位美国14岁少年因痴迷“AI恋人”而自杀，此事显示出AI左右人类情感和决策的能力。而这一事件的发生距离大模型的爆火还不到两年（今年11月30日是ChatGPT 3.5上线两周年）。

我们从未给AI权限去左右人类的决策与命运，但它们的作用已然超出了工具的范畴。那么，如果赋予人工智能更大的权力和空间来改造社会，可能会带来怎样的结果？

过去两年，我们探讨更多的还是大国或公司间的AI技术竞赛，与之相比，关于AI伦理的讨论要少许多。当然，舆论场上不乏版权抄袭、AI诈骗等伦理问题讨论，但今天的文章，想从一个新角度来谈谈。

如果放任AI“自由生长”，我们首先会面对的一个状况，就是AI对人类文明超乎想象的“同化”。因为人工智能正进化为具有“主体性”的新物种。

历史学家赫拉利在新书《智人之上》中指出了人工智能与过去所有技术的不同之处——人工智能是有史以来第一个能够自行做决策、创造新想法的技术。

人类过去的所有发明，都只是在为人类赋予更强大的力量，但使用的决定权始终掌握在人类手里。比如刀和炸弹并不会决定要杀死谁，它们只是不会思考的工具，没有处理信息、做出独立决策时所必需的智能。但人工智能不同，它能够自行处理信息，它不单纯是工具，而是能够做出决策的“行为者”。

我们怀着好奇与贪婪去探索和驾驭人工智能，却没想明白，我们是否有足够的智慧去掌控这股未知的力量。

今天，人们掌握和接触的信息远超历史上的任何时刻，但人类的判断和决策依然脆弱。在这种情境下，人类放任人工智能的发展，认为自己仍然是那个“执缰绳者”，就可能会像古希腊神话中的法厄同——那个想驾驭太阳神马车的年轻人一样，因为高估自己的力量而最终丧命。

事实上，情况已经有些失控了。

为什么这么说？

《人类简史》中有这样一个观点，就是人们之所以能够建立复杂的社会网络，关键在于我们拥有“讲故事”的能力。通过语言，我们创造了法律、货币、宗教等社会规则，从而形成大规模人类群体间的身份认同和联结。因此，人类创造和讲述的各种故事，构成了人类文明的基石。

但今天，这种“讲故事”的能力，也没有例外地被AI掌握了。

有一组数据是，在过去的不到24个月里，全球通过AI生成的数据量，已经超过了人类过去150年的创造。另外，在谷歌最近的三季度财报电话会上，CEO皮查伊表示，Alphabet超过四分之一的新计算机代码是由人工智能编写的。

这说明了一个事实，就是人工智能正以超越人类的水平掌握语言，或许用不了几年，它们就能够吞下整个人类文化——我们几千年来创造的一切文化和历史，加以消化，并开始创造出大量新的文化产品。

换言之，人工智能不仅能够理解人类文明的规则，也已经在讲述由它所主导的一个个“新故事”，它可能是文学、音乐、政治宣言，甚至是宗教神话。或许用不了多久，人类就会被“淹没”在AI创造的“数据海洋”里。

更直观的例子是，今天，一些AI所创作的音乐和绘画作品已经能够欺骗几乎所有的人类，同时，AI越来越多地被应用在很多的社会、商业场景中，它被用于核准贷款，被用来辅助招聘……换个角度，你是不是可以被贷款、值得被聘用，可能是AI说了算。

这意味着什么？就是AI在某种程度上拥有了塑造社会的力量。这无疑将对人类的权力结构和社会秩序构成挑战，并引发一系列伦理和社会问题。

赫拉利说：

人工智能有了假冒人类的能力，就可能破坏人类彼此的信任，使社会结构遭到破坏。而AI对语言的入侵还可能让人们无法进行有意义的公共对话。尝试和冒充人类的计算机进行政治辩论，等于连输两次。

一是输在，用于宣传的AI不可能被说服，试图改变它们的想法只是在浪费时间。二是输在，我们与AI交谈越多，就会透露更多自己的信息和想法，AI就能据以调整论点，动摇我们的看法。

正是在这样的叙述语境下，赫拉利提出了一个新概念，叫作“硅幕”。它由硅基芯片和计算机代码构成。就像冷战时期的“铁幕”分隔了敌对双方，“硅幕”可能正悄然降临，将人类与人工智能区隔开。

在“硅幕”的另一边，AI可能形成自己的文化、规则甚至价值观，而这些将是人类难以理解的。AI的自主性意味着它可以自己运作，不再依赖于人类的指令。

对人类来说，我们可能面临这样一种处境：不论在哪里生活，我们都被一张看不透的算法大网所束缚，AI会模仿我们的说辞，捕捉我们的行动轨迹，了解我们的恐惧与希望，进而控制我们的生活，重塑政治和文化，甚至改造我们的身体和思想，但我们却再也难以洞悉它们的真正意图。

所以赫拉利预言，如果21世纪真的有某个集权主义网络成功征服人类，它背后的操控者很可能不是人类的独裁者，而是某种非人类智慧。

这种可怕的景象到底会不会发生？

其实，一直以来，科技被很多人视为是创造“乌托邦”的一个最好的工具。致力于借助科技实现乌托邦的尝试，永远导向两个可能的方向：第一，是让人类社会走向进步和繁荣；第二，它永远存在毁灭人类的可能性。

从半个多世纪前的原子弹到今天的人工智能，人类一直对比我们更强大的科技工具孜孜以求。

我们在很多好莱坞电影里看到过这样的景象：当一个疯狂的科学家或者妄想家掌握了一种超前的工具，他真的可能在某个场景下控制人类，甚至按下那个毁灭这个地球的按钮。

所以人类应该放下自满情绪，摒弃“科技乌托邦”那种追求“不会犯错的完美技术”的幻想，为各种机构制度打造强大的自我修整机制。

未来的形态将由我们今天的选择决定，每走一步都必须慎之又慎。

以上内容改编自《每天听见吴晓波》10月24日的音频内容——《赫拉利在<智人之上>中，提出这个让人警惕的新概念》。节目中还有更多关于人工智能话题的探讨，登录吴晓波频道APP，会员可收听全部内容。

音频策划 | 毕冉 | 责任编辑 | 徐涛

主编 | 何梦飞 | 图源 | VCG