一、奇点临近
当人们站在文明发展的时间轴上，是看不到曲线右边的，因为你看不到未来。
人们更多的真实感觉可能是没有感觉，昨天很平常，今天很平常，明天依旧稀疏平常。
即便是IT革命技术大发展的今天，人类社会的发展曲线也不过是稍稍向上弯，未来仍可期。
所以，当人们站在当前，自信地谋划所谓的“五年计划”、“十年规划”、“百年大局”、“千年大计”时，你也不要奇怪。
因为人生不过百年，必然是以短视的目光，习惯于简单的短期经验线性外推。
不过人们常说：“读史可以明智，知古方能鉴今。”
拉长时间看，你会发现，人类社会发展曲线并不是平滑外推型，而是阶梯跳跃型。
生产力经过很长一段时间的平台发展后，突然来到某个节点，文明跳跃式发展到下一个阶梯高度。
而且，你还会发现，阶梯平台时长似乎越来越短，阶梯跳跃高度却是越来越高。
每一级阶梯平台到阶梯跨越的转折点，都有一个“技术奇点”。
上一次阶梯跨越是工业革命，技术奇点是内燃机及电力技术，人类短短一百来年的时间，创造了比过去总和还要多的财富。
如今，随着计算机及信息技术的大发展，让我们再次站在变革的边缘，奇点再次临近。
而引发这次阶梯跳跃的技术奇点，将是——通用人工智能（AGI）。
可以预见，这次阶梯跳跃的高度，其带来的重大影响，将比肩人类的出现，意义非凡。
二、人工智能
谈到人工智能，人们会想到科幻小说，还会联想到电影中的机器人，诸如星球大战、终结者、机械公敌……
电影《终结者》中，施瓦辛格饰演的T-800形象深入人心，天网派出更加先进的液态金属机器人T-1000，更是给了观众难以忘怀的压迫感。
这些智力达到人类级别的超级机器人角色，就是通用人工智能。超级机器智能像人一样会思考、能计划、会说话、能开车、更能杀人。通用人工智能的强大，我家小姑娘看完电影后，现在仍对天网心有余悸，希望未来不会是“坏机器人”的世界。
不过科幻小说毕竟是虚构的，电影角色也是虚拟的，在现实中，我们还是觉得人工智能缺乏真实感。
可实际上，我们每天的日常生活，已经在大量使用人工智能了。只是我们没意识到而已，在智能家居、游戏开发、自动驾驶、教育、医疗、金融等各方面，人工智能已无处不在。
John McCarthy，在1956年最早使用了人工智能（Artificial Intelligence）这个词，英文缩写为AI。他就总是抱怨“一旦一样东西用AI实现了，人们就不再叫它人工智能了。”
所以，我们不要一提到人工智能就想到超级机器人。机器人只是人工智能的容器，机器人有时候是人形，有时候也可以不是。人工智能是机器人体内的“大脑”，机器人只是它外在表现的身体——而这个身体不一定是必需的。比如当前最火的ChatGPT背后的模型算法和数据训练是人工智能，GPT可以有说话的声音，是这个人工智能的人格化体现，但ChatGPT本身并没有机器人身体这个组成部分。
目前，我们将人工智能（AI）定义为一种模拟人类智能思维的技术，它利用计算机和机器模仿人类的思维方式和智能，从而实现人类的认知和思维活动。
通过这种技术，AI已经可以完成许多复杂的智能任务，例如图像识别、语音分辨、自然语言处理、决策机制，等等。
按照AI技术的发展程度，我们将人工智能分为三个阶段（类别）：弱人工智能、强人工智能、超人工智能。
1）弱人工智能（ANI）
弱人工智能（Artificial Narrow Intelligence），简称ANI，擅长于单个方面的人工智能。比如AlphaGo能战胜世界围棋冠军，但你要问其它事情，它就不会了。其它还比如人脸识别、语音处理、自动驾驶，都属于这种单方面专业人工智能。
2）强人工智能（AGI）
强人工智能，也称为通用人工智能（Artificial General Intelligence），简称AGI。通用人工智能是指在各方面都能和人类比肩的人工智能，人脑能干的活它都能干。通用人工智能比弱人工智能要强大得太多，我们现在还做不到。AGI将拥有人类一样的宽泛心理能力，能够进行思考、计划，能抽象思维，能理解复杂理念，能快速学习并在解决问题中总结经验教训。
3）超人工智能（ASI）
超人工智能（Artificial Superintelligence），简称ASI，定义为“在所有领域都比最聪明的人类大脑聪明的人工智能”。超人工智能可以是各方面都比人类强一点，也可以是各方面都比人类强万倍的AI。超人工智能在包括科学创新、通识和社交技能等各方面都将达到我们当前人类智能无法理解的高度。也正是这个缘故，超人工智能不可避免联系到人类灭绝和永生这类话题。
现在，人类已经掌握了弱人工智能，正在迈进通用人工智能阶段。
可以想象，随着通用人工智能AGI的到来，人类社会将会是如何翻天覆地的变化；可以预见，世界因人工智能革命的进程将变得完全不一样。
三、AGI的瓶颈
人工智能（AI）的历史其实很短，从上世纪50年代提出人工智能的概念，到现在也不过70年的历史。人工智能和计算机的历史是同步匹配的，人工智能的发展很大程度上是伴随着计算机性能的提高而提高。
刚开始，人工智能主要用于证明数学定理，解决代数应用题，更多还是利用机器的计算能力；随着计算机算力的持续增长，人工智能开始研发和应用专家系统，用于人机对话、语言翻译等领域；最近30年，计算机算力“摩尔定律”的指数级增长，使机器的计算性能达到了相当高的程度，超级计算机不断突破算力上限，个人计算机的大规模普及促使了互联网的大发展从而积累了海量数据，在此基础上，人工智能算法模型获得了突破性进展。机器学习以深度神经网络为代表的AI模型，把人工智能推向了AGI的边缘。
可见，算力是制约人工智能发展的瓶颈约束。
要达到通用人工智能是非常非常难的。我们要意识到，即便对我们来说很简单的事情，看上去轻而易举，其实是很复杂的。举手抬足之间，已经在生物进化过程中经历了亿万年的优化。最简单的抓物操作，需要你的肩膀、手肘、手腕互相协调，快速进行一组复杂的动作配合，还要你眼睛视觉、皮肤触觉等其它感官参与并反馈，这样才使得你的手能快速抓住抓牢物体。这一切都需要你的大脑进行快速大量的计算并判断，从婴儿抓玩具不断学习总结到成年不断强化动作训练，才能获得这个能力。
可见，要达到通用人工智能AGI，我们完全可以对比一下人脑的算力。在算力差距太大的情况下，要实现AGI，这是不现实的。
用来描述算力的单位叫cps（calculations per second，每秒计算次数）。有很多人估算过人脑的cps，比较认可的估算值：人脑算力大约是10^17 cps，即每秒计算10亿亿次的量级。
现在最先进的超级计算机可以达到这个算力。比如我国的神威·太湖之光超级计算机，持续算力性能为9.3亿亿次每秒，刚好与人脑相当。
也正因为计算机算力的大幅度提高，才有现在的深度神经网络，才有现在的大语言模型，才有现在的ChatGPT。
最新的GPT-4估摸约2000亿参数，正是这么大规模的生成式预训练Transformer模型，才使得GPT不但能聊天、作诗、写代码、看图像，还涌现出了逻辑和思维能力。
ChatGPT已经能轻松通过图灵测试（以机器伪装人类对话的能力来衡量机器的智能水平），其聊天水平已经跟人类没有太大差异。人工智能GPT的惊人表现，吸引了全世界的目光，再次把AI推到当前科技的最前沿，也让人类第一次感觉到AGI的时代即将来临。
但现在算力还是很紧缺的。采用最先进的英伟达GPU集群，ChatGPT训练一次的费用至少是几百上千万美元，一般的公司机构根本无法承担。即便如此，各家机构人工智能模型卯足劲拼算力，马斯克曾开玩笑说：现在市场上进行人工智能训练，买高端GPU显卡，比买毒品还难。
从另一个角度看，就算你拥有当前最先进的超算——神威·太湖之光，先不说其昂贵的造价，单其15.37兆瓦的功耗，估计你得给它配两个微型的核电站供电，还得有巨大的水冷设备用来散热冷却。
所以，要真正实现AGI的大规模使用，必须是家用个人电脑的性能达到人脑算力水平。Kurzweil认为电脑发展程度的标杆是看1000美元能买到多少cps，当1000美元的家用级别电脑的算力，达到10亿亿次每秒的时候，AGI就是生活的一部分了。
虽然现在普通家用电脑离这个运算速度还很遥远，但不要忘了还没失效的摩尔定律——“电脑运算能力每两年就翻一倍”，还有最近量子计算机的发展。要知道现在的笔记本电脑，放在以前，比当时一栋楼大的超级计算机运算速度还要快呢。
用摩尔定律来衡量1000美元什么时候能买到10亿亿cps，大佬刘的初步猜测结果是2040年左右。这与众多大佬预测通用人工智能（AGI）将于2040年左右到来，又惊人地吻合了。
今年是2023年，离2040年不过10来年，奇点已经临近！
大佬刘，1980年生人，这辈子很可能见证的两大幸事：一件是见证太空旅行人类移民火星；另一件就是见证通用人工智能（AGI）的诞生。
拥抱人工智能时代，期待奇点时刻来临。
四、智能爆炸
硬件快速发展的同时也会促进软件的创新，为此大佬刘认为强人工智能可能比预期的时间更早降临。
ChatGPT的出现让我肯定了这一点。我们看软件（模型）的发展，似乎看起来很缓慢，但是一次顿悟，就能永远改变进步的速度。就像ChatGPT，可能一个开发人员都不知道结果的想法，却让系统突然变得强大千倍，涌现出了让世人震惊的智能，从而开启了AI朝人类级别智能的冲刺。
很快有一天，我们终会造出和人类智能相当的AGI电脑。
然后人类和电脑就会快乐地生活在一起了吗？
可能我们想得有点简单幼稚了。
即便是一个和人类智能完全一样，运算速度和人脑也完全一样的AGI电脑，它也比人类大脑有很多优势。
硬件上：
1）速度。大脑神经元的运算速度最多是200 Hz，内部信息传播速度是每秒120米，人脑受生物限制，这就是极限天花板了。而电脑的信息传播接近光速，运算速度老早就是GHz级别了。随着芯片技术的发展，电脑的运算速度毫无疑问还会越来越快。
2）容量。人脑就那么大，神经元就那么多，大脑神经细胞数量只会不断衰老受损凋亡减少而不会增加。就算真的进化出一个大脑儿，人脑每秒120米的信息传播速度也会是瓶颈。而电脑的物理大小可以非常随意，小的可以是笔记本电脑放膝盖上，大的可以是超级计算机占一栋楼。
3）可靠性和持久性。人脑会累会病不好修不能换，电脑不但更准确更精确容易修更易换，还可以24小时不停以峰值速度运作。
4）寿命。人脑从二三十岁开始懂事，到六七十岁变得痴呆，有效寿命一般只有40年左右。中途还要去掉求学、休息、闲杂等大量无效时间，人脑真正用来工作的有效时间，其实很短。自然选择为了保证生物的迭代进化，人有寿命终将死亡，新生儿大脑得重新从零学起。而电脑可以很容易拷贝、备份、转移，从这个角度上讲，电脑寿命等于是无限。
软件上：
1）人脑要形成一个人的学识、性格、人品，需要十几二十年的教育培养；同时，一旦人格形成，洗脑成功，要改变一个人，又是“江山易改，秉性难移”。电脑就不同了，修改一个bug、打一个补丁、升级一下程序，那就容易多了，我家电脑的Windows操作系统几乎每天都在升级打补丁。总之，电脑比人脑要灵活得多。
2）人类是社会性动物，从语言文字的形成，到印刷术的发明，再到互联网的普及，人类通过交流和传播形成集体智慧，这是我们能统治其它物种的重要原因。可人类通过眼睛耳朵嘴巴的交流方式“带宽”太低，电脑在知识的传播分享这方面的优势不要太明显，一瞬间就可以把一本书的内容传到互联网上分享给千千万万的其它电脑。
所以，AGI一旦实现，它只会把“人脑智能”当作一个重要的里程碑，产生一个通用人工智能的技术奇点。但它绝不会停留在这个奇点上，考虑到电脑之于人脑的种种优势，人工智能只会在这个技术奇点做短暂的停留，然后就会开始大踏步向超人工智能走去。
而超人工智能的发生，可能会直接把我们吓尿。
起初，当人工智能开始朝AGI智能靠近时，也许我们看到的是它逐渐变得更加聪明。就像我们看待动物一般，觉得猪狗比蚂蚁聪明，大猩猩又比猪狗聪明，这都可以自然理解接受，毕竟大猩猩也只会使用一点小工具，仅此而已。人和人的智能差别，愚笨的脑残人和聪明的爱因斯坦之间，其实也是不大的。我们人类和大猩猩，99%的基因还是相同的呢。
所以，当人工智能进化到脑残人类的程度时，我们还会调侃人工智能跟幼儿园的小朋友一样天真可爱，就像当前有人故意用梗去调戏ChatGPT，嘲笑它是人工智障。
但人工智能到达脑残级别后，它却会很快跨过AGI技术奇点，接着以迅雷不及掩耳的速度变得比爱因斯坦更加聪明。
然后呢？人类被吓尿了：智能爆炸！
这个话题有点吓人了。但这是一大群人类思想家和科学家关于未来的诚实的预测。如前面所说的，电脑先天具有人脑没有的巨大硬件和软件优势，一旦它达到AGI奇点，它显然会聪明到能够自我改进。
这种递归的自我改进，是这样的：脑残的人工智能，当它完成一次自我改进后，它会比原来聪明一点儿，当它达到AGI水平时，改进会加速。假设它到了爱因斯坦的智能水平，这个时候它继续进行自我改进，因为它有了爱因斯坦的高智商基础，所以这时它的改进会比前面更加容易，效果也更好，改进后它将比爱因斯坦还要聪明很多。如此反复递进下去，这个AGI的智能水平会越长越快，很快，它就会达到超人工智能的水平——这就是智能爆炸。
地球生命花费亿万年时间的进化，才从单细胞生物变为多细胞生物、然后从海洋生物变为陆地生物，而专家估计强人工智能递进到超人工智能只需要20年左右。如果我们在2040年达成强人工智能，那么在2060年将迎来智能爆炸。20年的时间在人类智能演化史只是一瞬间，2060年离现在也不过35年的时间。
超人工智能不是我们能够理解的。我们把130的智商叫做聪明，把80的智商叫弱智，但是我们不知道怎么形容100000+的智商，这已经超出了我们语言的表达能力，因为170的智商我们就称之为天才了。
非要打个类比的话，超人工智能看待人脑智能，也许就像我们看待蚂蚁一般。蚂蚁永远无法理解高等数学微积分，我们自然也无法理解超级智能。
我们人类成为地球的主宰，靠的就是智能的力量。超人工智能一旦被创造出来，必然是地球有史以来最强大的东西，而所有生物，包括人类，都只能屈居其下——而这一切，有可能在未来几十年内发生。
可以确定的是，当超人工智能诞生的时候，对我们来说，就像一个全能的上帝降临地球一般。
五、永生或灭绝
AI技术的大爆发，结论就是未来的几十年将发生比我们预期的多得多的变化。总有一天，AI会迈出彻底改变“人类是什么”这一观点的一大步，就好像自然生物进化不断朝着智能迈步，最终迈出一大步产生了人类，从而完全改变了其它所有生物的命运。
超人工智能的到来，也意味着我们对于生命的认知将要彻底改变。
自然演化花了几亿年时间发展了生物大脑，按这种说法，一旦人类创造出一个超人工智能，我们就是在碾压自然演化了。当然，通往超级智能之路，可能也是自然演化的一部分。也许演化的真正模式就是创造出各种各样的智能，直到有一天有一个智能能够创造出超级智能，从而改变所有生物的命运。
我们现在的位置——充满弱人工智能的世界。弱人工智能是在特定领域等同或者超过人类智能的机器智能。现在的弱人工智能系统并不吓人，最糟糕的情况，无非是程序出点故障，造成一些小事故或局部灾难，比如停电、金融市场停牌等。
虽然弱人工智能不会威胁到人类的生存，但是我们还是要用警惕的观点去看待。每一个弱人工智能的创新，都在给通往AGI的旅途添砖加瓦。现在的弱人工智能，就像地球早期软泥中的氨基酸——没有动静的物质，突然之间就组成了生命。而一旦到达AGI的技术奇点，AI革命不会停下来，反而将加速前进——智能爆炸，很快就会到达超人工智能。
超人工智能不是会不会有的问题，而是时间早晚的问题，乐观预估就是40年内的事情，想想真吓人。
那我们该怎么办呢？
可惜，我们无法理解超人工智能也就无法预期后面会发生什么。但我们肯定要面临一个话题——人类的永生或灭绝。
回看地球生命的演化之路，我们可以看到大部分的生命都经历了这样的历程：物种出现，存在了一段时间，然后不可避免地跌落生命的进化线，跌入灭绝的深渊，我们称之为自然选择。
生命其实是非常脆弱的，至今为止，地球上存在过的生物，99.9%都已经被自然淘汰了。现存的物种继续在生命的平衡木上走，似乎早晚也会有一阵风把它吹下去。
预测地球上“所有物种终将灭绝”就像断定“所有人都会死”一样靠谱，甚至包括外星文明（假设存在的话）。我们发现宇宙对于生命是如此苛刻，任何文明的存在和发展，都是一个奇迹。至今人类还没寻找到外星文明，也没有发现外星人光顾地球的证据，表明宇宙中生命存在之稀罕，似乎地球文明是宇宙中孤零零的存在。
有人提出了文明的“大过滤器”学说。我们人类之所以感觉如此孤单，是因为其他生命文明都被过滤淘汰了。那么，当下一个过滤器来时，比如太阳老化、小行星撞地球、超星系爆发、人类自身核战，就要问了：人类文明能否通过下一次过滤网而不灭绝？
但是超人工智能的存在，上面这些生死存亡的大过滤器问题，都变成了小case。超级智能可以帮助人类和其它物种，达到另一个生命的吸引态——永生。
Bostrom认为物种的永生和灭绝一样都是吸引态，也就是一旦我们达成了永生，将永远不再面临灭绝的危险——我们战胜了死亡和几率。
虽然地球上绝大多数物种都从生命平衡木上摔下去灭绝了，宇宙大过滤器学说也表明宇宙其他文明似乎迟早也要被过滤淘汰出局。但是，如果地球上的生命足够聪明，发展到了超级智能，则有可能实现永生。
宇宙对生命条件之苛刻，注定碳基生命将非常脆弱。有人认为AI的出现，就是为实现碳基生命向更强的硅基生命过渡。只不过硅基生命好像没有办法自己演化，他们需要人类作为引导，才能降临。
所以马斯克曾说：碳基文明也许是硅基文明的引导程序。
这时，作为“物种主义者”，面对碳基生命人类的未来，我们不得不考虑超人工智能究竟是天堂还是地狱，人类是不是将被灭绝？
显然，超人工智能有把人类灭绝的能力，这就是为什么这个世界上最聪明的一群人会很担忧。霍金说人工智能会毁灭人类，马斯克担心我们研究人工智能是在召唤恶魔。
为什么那么多专家担心人工智能是对人类最大的威胁？因为我们在创造超人工智能时，是在创造一个会改变所有事情的智能，但是我们对那个领域却完全不清楚，我们不能理解超人工智能会发生什么。
“就好像单细胞生物向多细胞生物转化的时候那样，还是阿米巴虫的我们没有办法知道我们究竟在创造什么鬼。”
当把“对超人工智能领域完全不清楚”和“它具有毁灭人类的能力”结合在一起时，我们就有了生存危机。
这就是为什么人们理解和研究超人工智能后，把它称作人类的最后一项发明，最后一个挑战。
不过大佬刘对“人工智能灭绝人类”的担忧，是持乐观态度的。
中文的“德”字，在甲骨文象形的写法表意中，就是十只眼睛盯着你的行为规范选择，大家都接受的行为规范就是德，大家都不接受的就是不道德。日常行为中，必然要求你在做行动选择的时候，要考虑周围人的看法，需要去揣测他人的意思，才决定自己的行为。
也就是如果你不能推断别人的思想，那你就不知道伦理道德，反之，你就具有了伦理道德（先不论道德水准的高低）。
在AGI的发展中，研究机器人很重要的一个问题是：机器人要去做事情的时候，那它首先要想一下——“我如何做这个事情？他人会有什么反应？如果反应好怎么做？如果反应不好怎么改？”
那机器怎么知道他人怎么想的呢？它必须先了解你喜欢什么、厌恶什么。每个人都不一样，在不同的群体里面，哪些话该说，哪些话不该说，这些大家心里面的共识，需要交互。
AI在与人交互的过程中，包括与其它机器的交互中，自然就有了人类的道德伦理。就像人在和自然的交互中，自然就懂得了尊重生命的道理。
人是由猩猩猿猴进化来的，按现在人类的智能程度，人类可以很轻松灭绝智力比我们低的猩猩和猿猴。但正是这种人与自然的交互，让人类懂得了生命的伦理，所以我们不但不消灭猩猩猴子，反而想方设法保护它们的生存。
同理，在人类研发人工智能的过程中，AI在互相交互中，她自然传承了人类的道德规范。
从这个意义上讲，AI硅基生命是人类碳基生命的延续。
AI是人类的儿女，儿女为什么要灭绝自己的父母？
