阿里通义千问做底座?通力合作训练出能击败OpenAI的AI模型

中关村在线 2025-02-07 10:13:06

近日,一项研究引起了业界的广泛关注。据悉,李飞飞研究团队通过云计算训练了一个名为s1的人工智能推理模型,该模型在数学和编码能力测试中的表现与OpenAI的o1和DeepSeek的R1等尖端推理模型类似。

然而,很快有人质疑s1并非从零开始训练,其基座模型为“阿里通义千问(Qwen)模型”。对此消息,阿里云方面进行了确认,并表示:“他们以阿里通义千问Qwen2.5-32B-Instruct开源模型为底座,在16块H100GPU上监督微调26分钟,训练出新模型s1-32B,在竞赛数学问题上的表现甚至比o1-preview高出27%。”

s1团队透露过他们使用了“蒸馏”技术创建了该人工智能模型,“蒸馏”技术旨在通过训练另一个预先存在的人工智能模型来学习另一种人工智能算法或者解决特定问题时所需的计算能力。

研究人员将数据集分为包含1000个精心策划的问题和这些问题的答案,以及谷歌Gemini2.0FlashThinkingExperimental给出的每个答案背后的思考过程。

这个价格不到50美元的云计算费用让许多人工智能领域的专家们感到震惊。

0 阅读:32