首先声明一下,以下是 Anthropic 的CEO,真正站在这一波大模型浪潮顶端的人,达里奥·阿莫代伊(Dario Amodei)的观点。
他认为现在AI的发展正处在一个特殊的“交叉点”,强化学习开始在AI上大规模应用。
我稍微解释一下什么叫强化学习,就是把一个模型往训练场里面一丢,然后疯狂地学习和自我学习,疯狂地进化,能达到的高度是人不可想象的。
最好的例子就是我们熟悉的AlphaGo破解围棋。AlphaGo Zero自我对弈490万局以后,超越AlphaGo,AlphaZero自我对弈2900万局以后超越了AlphaGo Zero。
没有比强化学习更疯狂需求算力的无尽需求,所以那些鼓吹接下来练AI根本不需要那么多卡的,是无知。
那个时候最强的AlphaZero,40层残差网络才差不多1.5亿个参数,现在是几千亿个参数的模型,接下去是万亿、十万亿,不是去学习一个棋盘,是去强化学习整个世界。
现在的显卡和算力都不算什么,还没开始呢。理解了这个就能理解达里奥的下一个观点:AI现在才刚刚开始。
AI竞争拉开差距会在1000亿美金,也就是百万张显卡规模,现在最多的不就是马斯克正在建造的10万卡集群吗?也就是xai的起点,所以真的只是刚开始。
既然百万卡集群的出现才是决战的开始,着急什么?大模型没有技术门槛,AI公司没有护城河。达里奥也表达,那些技术每家都在玩,在这个阶段你跑慢一点和跑快一点,你编程强,我文本强等等都没什么意义。
所以说真正的护城河,还是规模。
不过我现在的理解其实也不是规模,是环境和法律法规。达里奥简单算了个账,说Deepseek显卡规模差不多在10亿美元这个档.
现在Deepseek炸了全世界的鱼,会招来更严格的芯片制裁和各方面的调查。以前各种手段挪个几万张还可以实现,搞决战阶段的百万张卡,咋可能?
这个大家看到了,芯片禁令也升级了,非常夸张,还会继续升级,然后启动对相关公司和研究人员调查。
达里奥认为Deepseek的研究人员很强、很聪明,就想做点有用的技术。Deepseek的团队通过一些真正令人印象深刻的创新实现了这一点,主要集中在工程效率上,特别是管理KV缓存方面,有创新性的改进,推动了Moe方法更进一步。
但是在现在的世界态势之下,在大棋局里面,他们由不得自己。他表达了惋惜,这个我就不展开了,大家都懂。
中国人很聪明,中国人才很多,干事情的人也很多。给一个更纯粹的环境,10万卡集群,百万卡集群没人干得过我们。
他一顿分析,给出了一个结论:Deepseek以较低的成本(不过他不认可600万美金训练成本这个点,也做了分析)生产了一个接近美国模型7 ~ 10个月之前性能的模型。
Deepseek低成本
这个跟我个人这段时间的使用体验是匹配的,进步确实很大,但还是有差距,差距越来越小。但是真没有达到超越和遥遥领先这种程度。
这么短的时间能赶到这个距离,这不足够厉害吗?有什么不知足的?问题是这一波“炸鱼”,真正的高端芯片越来越难搞了。
最新的芯片法案已经非常夸张,全方面无死角地禁,还要再升级。美国接下去肯定会更严格地审查,调查各家AI公司亚洲面孔的人,不像之前氛围那么好了。
谷歌、Meta等等都很慷慨地争相发表论文,分享最新的技术,那些相信不用高端芯片就能训练出厉害AI的,只能说异想天开。
技术靠的是不断地累积,那些幻想技术奇迹的人多少有点问题。以上只是我个人的理解和表达,大家可以去看达里奥的万字长文,分享了很多很实在的理解和信息,这是真下场练过大模型的人才能有的理解。
自己都不用,就只会问几个问题,然后就在那里各种现编误人子弟,看着就烦。好不好去用,能为你的应用提高输出质量,能为你扩展业务、降低成本,那就是好模型。
干嘛跟钱过不去,拿着一个模型的问答,满世界贴,去对线,争谁家更牛?要么就是无知,要么就是闲的。
最后我作为老百姓,我们应该谁开源支持谁,谁不审核我们支持谁,又闭源又审核,只会训练出一个AI妖怪,绝对不会练出真AI。
我觉得Deepseek还不够狠,就拼开源,拼不审核,拼成本,现在输出质量足够99%的人用,全世界用户绝对发疯了的用。用得着拼规模吗?咱光脚,怕个啥?
【本文来源@基地说的视频内容】