OpenAI 首席执行官 Sam Altman，写了一篇新帖子《温和的奇点》。
sam：
我意识到这可能是我最后一次在没有任何人工智能帮助的情况下写这样的文章了。
（ds + 人工翻译），有瑕疵不影响阅读。
---
➡️ 全文内容
人类即将构建出数字超级智能，而至少到目前为止，它远没有人们想象的那么怪异。
机器人尚未在街头行走，我们大多数人也没有整天和AI聊天。人们依然会死于疾病，我们仍无法轻易进入太空，宇宙中还有许多我们尚未理解的事物。
然而，我们最近构建的系统已在许多方面超越了人类，并能显著放大使用者的产出。工作中最不可能的部分已成过往；将我们带到GPT-4和o3这类系统的科学洞见来之不易，但它们将带我们走得很远。
AI将以多种方式为世界做出贡献，但AI推动科学进步加速和生产效率提升所带来的生活质量收益将是巨大的；未来可以比现在好得多。科学进步是整体进步的最大驱动力；想到我们还能拥有多少，就令人无比兴奋。
在某种重要意义上，ChatGPT已经比历史上任何人类都更强大。每天有数亿人依赖它完成日益重要的任务；一项微小的新能力就能产生巨大的积极影响；而一个微小的错位乘以数亿人，则可能造成极大的负面影响。
2025年见证了能够完成真正认知工作的智能体（agent）的到来；编写计算机代码将永远改变。2026年很可能见证能够发现新颖洞见的系统的出现。2027年或许会见证能在现实世界执行任务的机器人诞生。
将会有更多人能够创造软件和艺术。但世界对两者的需求要大得多，只要专家们拥抱新工具，他们可能仍将远胜于新手。总的来说，一个人能在2030年完成比2020年多得多的事情，这将是一个显著的变化，许多人会找到从中获益的方法。
在最重要的方面，2030年代可能不会天翻地覆。人们仍将爱他们的家人，表达创造力，玩游戏，在湖中游泳。
但在仍然非常重要的方面，2030年代很可能将与以往任何时代都截然不同。我们不知道智能能在超越人类水平的基础上走多远，但我们即将找到答案。
在2030年代，智能与能源——即想法，以及将想法变为现实的能力——将变得极度充裕。这两者长期以来一直是人类进步的根本限制；有了充裕的智能和能源（以及良好的治理），理论上我们就能拥有其他一切。
我们已经生活在令人难以置信的数字智能之中，经历最初的震惊后，我们大多数人都已相当习惯。我们很快从惊叹AI能生成一段优美的文字，转向期待它何时能生成一部优美的小说；从惊叹它能做出救命的医疗诊断，转向期待它何时能开发出治疗方法；从惊叹它能编写一个小型计算机程序，转向期待它何时能创建一家全新的公司。奇点就是这样：奇迹变得平常，然后成为基本要求。
我们已经听到科学家们说，他们在AI的帮助下比之前高效了两到三倍。高级AI之所以有趣有许多原因，但或许没有什么比得上我们能利用它来更快地进行AI研究这一点重要。我们也许能够发现新的计算基质、更优的算法，以及谁知道还有什么。如果我们能在一年或一个月内完成十年的研究，那么进步的速度显然会大不相同。
从今往后，我们已经构建的工具将帮助我们找到更多的科学洞见，并协助我们创造更好的AI系统。当然，这不等同于AI系统完全自主地更新自身代码，但无论如何，这已是递归自我改进的雏形。
还有其他自我强化的循环在起作用。经济价值创造已经启动了一个飞轮，带动着运行这些日益强大的AI系统的复合型基础设施的建设。而能够制造其他机器人的机器人（在某种意义上，还有能够建造其他数据中心的数据中心）已为时不远。
如果我们不得不以传统方式制造最初的百万个人形机器人，但随后它们就能操作整个供应链——开采和精炼矿物、驾驶卡车、运营工厂等等——来制造更多机器人，而这些机器人又能建造更多的芯片制造厂、数据中心等，那么进步的速度显然会大不相同。
随着数据中心生产实现自动化，智能的成本最终应会趋近于电力的成本。（人们常常好奇一次ChatGPT查询消耗多少能源；平均每次查询约消耗0.34瓦时，相当于烤箱运行略超一秒的耗电量，或一个高效节能灯泡运行几分钟的耗电量。它还消耗约0.000085加仑水；大约十五分之一茶匙。）
技术进步的速率将持续加快，而人们几乎能适应任何事物的能力也将持续。未来会有非常艰难的部分，比如整类工作消失，但另一方面，世界将如此迅速地变得如此富裕，以至于我们将能够认真考虑以前从未能实施的新政策构想。我们可能不会一下子采纳一份全新的社会契约，但当我们几十年后回顾时，这些渐进的变化将已累积成巨大的变革。
如果历史可以作为指引，我们将找到新的事情去做，新的东西去渴望，并迅速吸收新工具（工业革命后的职业变迁就是一个近期的好例子）。期望值会上升，但能力也会同样快速地提升，我们都会得到更好的东西。我们将为彼此建造越来越奇妙的事物。人类相对于AI拥有一个长期重要且奇妙的优势：我们天生就关心他人及其所思所为，而对机器则不太关心。
一千年前的生存型农民会看着我们许多人所做的事，说我们拥有虚假的工作，认为我们只是吃饱喝足、拥有难以想象的奢侈品后玩游戏自娱自乐。我希望我们看待一千年后的工作时也会觉得它们非常“虚假”，但我毫不怀疑，对从事那些工作的人来说，它们会感觉极其重要且令人满足。
新奇迹诞生的速度将是巨大的。今天甚至难以想象到2035年我们会发现什么；也许我们会从某年解决高能物理学问题，到下一年开始太空殖民；或者从某年取得材料科学重大突破，到下一年实现真正高带宽的脑机接口。许多人会选择以大致相同的方式生活，但至少一部分人很可能会决定“接入”（脑机接口）。
展望未来，这听起来令人难以理解。但亲历其中可能感觉既震撼又可掌控。从相对论的视角看，奇点是一点一点发生的，融合是缓慢进行的。我们正沿着指数级技术进步的漫长弧线攀登；向前看它总是显得陡峭垂直，向后看则显得平坦，但它是一条平滑的曲线。（回想2020年，如果当时说2025年会有接近通用人工智能（AGI）的东西出现，听起来会多么疯狂，再对比过去5年实际发生的一切。）
在巨大收益的同时，我们也面临着严峻的挑战。我们确实需要在技术上和社会层面解决安全问题，但考虑到其经济影响，广泛普及超级智能的访问权限至关重要。最佳前进路径可能是这样的：
首先解决对齐问题（alignment problem），即我们能可靠地保证AI系统学会并朝着我们集体真正想要的长期目标行动（社交媒体信息流就是AI错位的例子；驱动这些信息流的算法在让你不断滚动浏览方面非常厉害，并且清楚地理解你的短期偏好，但它们是通过利用你大脑中某种会压倒你长期偏好的机制来实现的）。
然后专注于让超级智能变得廉价、广泛可用，并且不要过度集中在任何个人、公司或国家手中。社会是有韧性、有创造力且适应迅速的。如果我们能利用人们的集体意志和智慧，那么尽管我们会犯很多错误，有些事情会出大问题，但我们将能快速学习并适应，能够利用这项技术获得最大收益并最小化弊端。在由社会决定的大框架内，给予用户大量自由似乎非常重要。世界越早开始讨论这些大框架是什么以及如何定义集体对齐，就越好。
我们（整个行业，而不仅仅是OpenAI）正在为世界构建一个大脑。它将极具个性化且易于每个人使用；我们将受限于好点子的多少。很长一段时间里，初创企业界的科技人员都嘲笑那些“点子王”（the idea guys）——那些只有想法并寻找团队来实现的人。现在在我看来，他们即将迎来属于自己的高光时刻。
OpenAI如今有很多身份，但首先，我们是一家超级智能研究公司。我们面前还有很多工作，但前方的大部分道路已然点亮，未知的领域正在迅速消退。我们深感荣幸能做我们所做的事。
智力廉价到无法计量（Intelligence too cheap to meter）已近在咫尺。这么说可能听起来很疯狂，但如果我们告诉你在2020年，我们将在今天达到这个地步，那听起来可能比我们现在对2030年的预测还要疯狂。
唯愿我们平稳、指数级且波澜不惊地跨越超级智能。
