AGI时间表大公开丨神秘人士揭秘OpenAI「超级模型」计划,速看!

黑客运营有一套 2024-03-05 11:17:39

今天凌晨,有人用一份53页的 PDF 文档,详细展示了 OpenAI 的:

√ AGI 时间计划表;√ 神秘 Q* 计划进展;√ 堪比人脑神经的100万亿超级模型;……

爆料者结合目前网络上所有的公开资料,推导出 OpenAI 可能的 AGI 时间计划表,以及关于 GPT-5、GPT-6,甚至 GPT-8 的发布计划。

接下来,我们带大家看一下,这份文档都爆料了哪些不为人知的“内幕资料”。

1 OpenAI 的 AGI 计划表

OpenAI 的 AGI 计划中关键时间节点和里程碑:

① 2022年夏季:有迹象表明OpenAI可能在这个时候开始了GPT-4/GPT-5的训练。

② 2022年8月:OpenAI 开始训练一个拥有125万亿参数的多模态模型,第一阶段被称为 Arrakis 或 Q*。

③ 2023年初:微软向OpenAI投资了100亿美元,这为OpenAI提供了资金来训练大型AI模型。

④ 2023年3月:GPT-4在这一年的3月升级,这是在GPT-3.5之后的一个版本,后者是ChatGPT背后的模型。

⑤ 2023年12月:Q* 模型完成训练,但因高推理成本而取消了发布。这个模型原计划是2025年发布的 GPT-5。

⑥ 2023年:GPT-4 在这一年的晚些时候实现了原型 AGI,智商(IQ)为 48。

⑦ 2023年:GPT-4(Gobi,原GPT-4.5)被重新命名为 GPT-5,因为原始的GPT-5 计划被取消。

⑧ 2024年:原计划的 Q* 2024(GPT-6)被推迟,因为埃隆·马斯克提起了诉讼。

⑨ 2025年:原计划的 Q* 2025(GPT-8)计划在这一年实现完全的 AGI。

⑩ 2027年:Q* 2027 计划实现完全的 AGI。

在追求 AGI(人工通用智能)的过程中,OpenAI 面临的关键技术挑战和解决方案:

√ 参数数量:为了达到人类水平的智能,需要构建具有大量参数的模型。OpenAI 计划训练一个125万亿参数的模型,这比人类大脑的突触数量还要多。这种规模的模型需要巨大的计算资源。

√ 多模态能力:AGI 需要能够处理和理解多种类型的数据,包括文本、图像、音频和视频。OpenAI 的模型需要在这些不同模态上进行训练,以实现更全面的理解和反应能力。

√ 计算资源:训练如此大规模的模型需要大量的计算资源。OpenAI 通过与微软的合作,获得了必要的资金和技术支持,以满足这些需求。

√ 数据量和质量:为了训练 AGI,需要大量的高质量数据。互联网提供了丰富的数据来源,但 OpenAI 需要确保数据的多样性和质量,以便模型能够学习到广泛的知识和技能。

√ 推理成本:大规模模型的推理成本很高,这可能会限制模型的实际应用。OpenAI 需要找到方法来降低这些成本,或者开发更高效的推理技术。

√ 伦理和安全问题:随着 AI 能力的提升,伦理和安全问题变得越来越重要。OpenAI 需要确保其 AGI 系统不会对人类社会造成潜在的威胁,并在开发过程中考虑道德和法律问题。

√ Chinchilla缩放法则:为了弥补100万亿参数模型可能存在的性能不足,OpenAI 采用了 Chinchilla 缩放法则,即通过在更多数据上训练模型来提高性能,而不仅仅是增加参数数量。

2 关于 Q* 计划

Q* 模型的参数数量是125万亿。

这个数字与人类大脑的突触数量相比较,后者通常被估计为大约100万亿。这意味着 Q* 模型的参数数量接近于人类大脑的突触数量,这表明OpenAI在设计这个模型时,是朝着模拟人类大脑复杂性的方向发展的。

参数数量的增加通常与 AI 模型处理信息的能力和灵活性直接相关,因此在追求 AGI 的过程中,参数数量是一个重要的考量因素。

Q* 模型的参数是如何分布的,它们在模型中扮演什么角色?

在深度学习模型中,参数通常指的是模型中的权重和偏置,它们是神经网络中连接(或称为突触)的强度和方向。

在 Q* 模型这样的大型语言模型中,参数分布在整个网络的多层结构中,包括输入层、隐藏层和输出层。每一层都由大量的神经元组成,这些神经元通过参数化的连接相互关联。

参数在模型中的作用如下:

1. 权重(Weights):权重决定了输入数据在通过网络时的放大或减弱程度。在神经网络中,每个输入都会乘以相应的权重,然后通过激活函数传递到下一层。权重的学习是通过训练过程中的反向传播算法来优化的,目的是最小化预测输出和实际输出之间的差异。

2. 偏置(Biases):偏置为每个神经元提供了一个额外的调整,使得模型能够更好地拟合数据。即使在所有输入都为零的情况下,偏置也允许神经元输出非零值,这在某些情况下是必要的。

3. 激活函数(Activation Functions):激活函数决定了神经元是否应该被激活,即输出信号是否应该传递到下一层。这增加了模型的非线性,使得网络能够学习和模拟更复杂的函数。

在 Q* 模型这样的多模态模型中,参数不仅用于处理文本数据,还可能用于处理图像、音频和视频等不同类型的输入。这意味着模型中的参数需要能够理解和处理多种数据格式,这要求模型具有高度的灵活性和适应性。

在训练过程中,这些参数会通过大量的数据和计算资源进行调整,以便模型能够学习到如何执行各种任务。随着参数数量的增加,模型的复杂性和潜在的学习能力也会增加,这有助于实现更接近人类智能的 AGI。

0 阅读:0
黑客运营有一套

黑客运营有一套

感谢大家的关注