Andrej Karpathy分享了他对于AI会在哪些行业/场景快速发展的看法,或者说,哪些职业/工作容易被AI取代,核心是“可验证性”。---------------------------分享一段最近关于 AI 影响经济的有趣对话。人们曾将 AI 与历史上的各种先例进行比较:电力、工业革命等等。但我认为最贴切的类比是 AI 作为一种新的计算范式 (软件 2.0),因为(传统计算和 AI)两者从根本上都是关于自动化数字信息处理。如果你要在 1980 年代预测计算对就业市场的影响,你所关注的任务/工作中,最具预测性的特征是其算法在多大程度上是固定的。也就是说,你是否只是根据死记硬背的、易于指定的规则(例如打字、记账、人工计算等)来机械地转换信息?在那个时代,这正是当时的计算能力允许我们(手动)编写的程序类型。而现在有了 AI,我们能够编写出以前根本无法想象能用手写出来的“新程序”。我们通过指定目标(例如分类准确率、奖励函数)来实现,并通过梯度下降来搜索程序空间,以找到能很好实现该目标的神经网络。这就是我前段时间在“软件 2.0”博客文章中提到的观点。因此,在这个新的编程范式中,需要关注的、最具预测性的新特征是可验证性 (verifiability)。如果一项任务/工作是可验证的,那么它就是可优化的(可以直接优化或通过强化学习优化),神经网络就可以被训练得极其出色。这关乎 AI 在多大程度上可以“练习”某事。(练习)环境必须是可重置的(你可以开始新的尝试)、高效的(可以进行大量尝试)和可奖励的(有一个自动化流程来奖励所做的任何特定尝试)。一项任务/工作越是可验证,就越容易在新的编程范式中被自动化。如果它是不可验证的,那(自动化)就只能寄希望于神经网络泛化能力的“魔法”,或者通过像模仿这样更弱的手段来实现。这就是推动 LLM 进展呈现出“犬牙交错”前沿 (jagged frontier) 的动因。可验证的任务(例如数学、编码、视频内容分析、任何看起来有正确答案的谜题)进展迅速,甚至可能超越顶尖专家的能力;而许多其他任务(创造性、战略性、结合现实世界知识、状态、背景和常识的任务)相比之下则进展滞后。 软件 1.0 轻松自动化那些你能指定 (specify) 的任务。 软件 2.0 轻松自动化那些你能验证 (verify) 的任务。
