DeepSeek发布开源周首个成果可优化英伟达GPU效率

新京报 2025-02-24 14:44:59

新京报贝壳财经讯(记者罗亦丹)北京时间2月24日上午,DeepSeek发布了其“开源周”的第一项成果:FlashMLA(直译为快速多头潜在注意力机制)的代码。

据了解,MLA(多头潜在注意力机制)正是DeepSeek降低大模型成本使用的关键技术之一,其可以显著减少大模型训练和推理过程中的内存占用,而FlashMLA则是针对HopperGPU(一种英伟达GPU架构)开发的高效MLA解码内核,其针对可变长度序列进行了优化,目前已投入了生产,其可以使得H800达到3000GB/s内存,实现580TFLOPS(每秒浮点运算次数)计算性能。

贝壳财经记者注意到,根据此前DeepSeek发布V3大模型时公开的技术文档,该大模型正是使用英伟达的H800芯片训练而成。

上海骊翰科技咨询有限公司发文称,FlashMLA能在不损失模型性能的前提下,将缓存体积压缩至原来的1/4,从而大幅降低显存需求。例如,原始需要存储的100GB中间结果,压缩后仅需25GB,通过开源让企业可以直接使用FlashMLA来优化自家模型。随着FlashMLA的普及,AI推理有望进入千元级硬件跑百亿模型的时代。

12 阅读:2638

评论列表

温习

温习

11
2025-02-24 16:58

deepseek传统意义上来说,他不是ai服务的运营商,而是ai技术的开发商,所以大家不要把访问慢,无响应都怪ds

鹿蜀

鹿蜀

6
2025-02-24 16:40

那些喷子说ds蒸馏闭源openai的可以闭嘴了

晨枫画艺

晨枫画艺

2
2025-02-24 17:05

直接开挂?

九七中毒患者

九七中毒患者

2
2025-02-24 18:16

所有的技术都是资本市场炒作的需要!

Lightning

Lightning

2
2025-02-24 16:45

别吹了,体验别出现无响应再说吧

向日葵和憨八嘎

向日葵和憨八嘎

2
2025-02-24 18:33

[点赞]openai没机会了

昝大钱

昝大钱

2
2025-02-24 19:11

DeesPeek的推出,如同惊雷!比珍珠港事件更具杀伤力!

北人

北人

2
2025-02-24 17:59

我记得英伟达不是断供了吗[笑着哭]那不成废码了吗

九九799

九九799

2
2025-02-24 17:33

我只想说: nice ! [点赞]

史提芬周

史提芬周

2
2025-02-24 22:13

想搞闭源圈钱的大头已经绝望了[笑着哭]

hp

hp

1
2025-02-24 16:58

这回是想把英伟达锤死[呲牙笑],高端GPU不是那么必要了

布木

布木

1
2025-02-24 17:05

Deepseek让英伟达很难受,美国靠堆GPU太高AI门槛的金融泡沫被戳破。

新京报

新京报

新京报2003年11月11日创刊,是集“报、刊、网、端、微、屏”传播于一体、媒体融合转型下的现代综合性主流传媒机构。

作者最新文章