新京报贝壳财经讯(记者罗亦丹)北京时间2月24日上午,DeepSeek发布了其“开源周”的第一项成果:FlashMLA(直译为快速多头潜在注意力机制)的代码。
据了解,MLA(多头潜在注意力机制)正是DeepSeek降低大模型成本使用的关键技术之一,其可以显著减少大模型训练和推理过程中的内存占用,而FlashMLA则是针对HopperGPU(一种英伟达GPU架构)开发的高效MLA解码内核,其针对可变长度序列进行了优化,目前已投入了生产,其可以使得H800达到3000GB/s内存,实现580TFLOPS(每秒浮点运算次数)计算性能。
贝壳财经记者注意到,根据此前DeepSeek发布V3大模型时公开的技术文档,该大模型正是使用英伟达的H800芯片训练而成。
上海骊翰科技咨询有限公司发文称,FlashMLA能在不损失模型性能的前提下,将缓存体积压缩至原来的1/4,从而大幅降低显存需求。例如,原始需要存储的100GB中间结果,压缩后仅需25GB,通过开源让企业可以直接使用FlashMLA来优化自家模型。随着FlashMLA的普及,AI推理有望进入千元级硬件跑百亿模型的时代。
温习
deepseek传统意义上来说,他不是ai服务的运营商,而是ai技术的开发商,所以大家不要把访问慢,无响应都怪ds
鹿蜀
那些喷子说ds蒸馏闭源openai的可以闭嘴了
晨枫画艺
直接开挂?
九七中毒患者
所有的技术都是资本市场炒作的需要!
Lightning
别吹了,体验别出现无响应再说吧
向日葵和憨八嘎
[点赞]openai没机会了
昝大钱
DeesPeek的推出,如同惊雷!比珍珠港事件更具杀伤力!
北人
我记得英伟达不是断供了吗[笑着哭]那不成废码了吗
九九799
我只想说: nice ! [点赞]
史提芬周
想搞闭源圈钱的大头已经绝望了[笑着哭]
hp
这回是想把英伟达锤死[呲牙笑],高端GPU不是那么必要了
布木
Deepseek让英伟达很难受,美国靠堆GPU太高AI门槛的金融泡沫被戳破。