DeepSeek团队神操作:用“汇编”取代CUDA让性能狂飙

东沛评科技 2025-01-29 19:08:43

在人工智能领域,DeepSeek 引发了巨大轰动。它借助由 2048 块英伟达 H800 GPU 组成的集群,仅用约两个月时间就完成了拥有 6710 亿参数的混合专家(MoE)语言模型训练,效率比 Meta 等人工智能行业领军企业高出 10 倍。据 @Jukanlosreve 援引韩国未来资产证券(Mirae Asset Securities Korea)的分析,这一突破得益于大量细粒度的优化措施,以及采用了类似汇编语言的英伟达并行线程执行(PTX)编程,而非英伟达的 CUDA 编程。

英伟达的并行线程执行(PTX)是英伟达公司专为其图形处理器(GPU)设计的一种中间指令集架构。PTX 处于高级 GPU 编程语言(如 CUDA C/C++ 或其他语言前端)与低级机器代码(流式汇编,即 SASS)之间。PTX 是一种接近硬件底层的指令集架构,它将 GPU 视为数据并行计算设备,因而能够实现细粒度的优化操作,例如寄存器分配以及线程 / 线程束级别的调整,而这些功能是 CUDA C/C++ 等其他编程语言所无法实现的。一旦将 PTX 转换为 SASS,便会针对特定一代的英伟达 GPU 进行优化处理。

例如,在训练其 V3 模型时,DeepSeek 对英伟达 H800 GPU 进行了重新配置:在 132 个流式多处理器中,专门分配了 20 个用于服务器间的通信任务,此举可能是为了对数据进行压缩和解压缩处理,以克服处理器的连接限制,进而加快数据传输速度。为了最大限度地提升性能,DeepSeek 还采用了先进的流水线算法,可能还进行了更为精细的线程 / 线程束级别的调整操作。

这些改进措施远远超出了标准的 CUDA 级开发范畴,然而,其维护难度极高已是业内公认的事实。因此,这种程度的优化成果充分体现了 DeepSeek 工程师团队卓越的技术水平。受美国相关限制措施的影响,全球 GPU 短缺问题进一步加剧,这迫使像 DeepSeek 这样的企业不得不采取创新解决方案,而 DeepSeek 也成功实现了技术突破。然而,目前尚无法明确 DeepSeek 为取得这些成果在研发过程中投入的资金数额。

这一突破性进展对市场造成了一定的冲击,部分投资者认为,新的人工智能模型对高性能硬件的需求将会降低,这对英伟达等公司的产品销售产生了不利影响。行业资深人士,如英特尔前首席执行官帕特・基辛格则认为,人工智能等应用领域能够充分利用其所能获取的全部计算能力。对于 DeepSeek 的这一突破,基辛格认为这为在大众市场中的大量廉价设备中集成人工智能技术提供了可行途径。OpenAI 首席执行官山姆・阿尔特曼也对 DeepSeek 给予了 “令人印象深刻” 的评价。然而在 2023 年,他曾表示与 DeepSeek 展开竞争几乎是不可能之事。

21 阅读:7884

评论列表

C4

C4

41
2025-01-29 23:46

继续骗人继续嗨,看你们能割几天韭菜

大漠孤烟 回复 01-30 16:52
把美国特朗普和科技大佬都震惊了,股市震动,你说气人不?🤣🤣🤣

暴力米奇 回复 01-30 22:43
确实,美国韭菜们都被割麻了,哈哈哈几个大公司直接跳水了[笑着哭]

神经病评论家

神经病评论家

37
2025-01-30 06:59

病得不清,但凡是个程序员,都不会想汇编做AI。

编辑部-彭某 回复 01-30 20:17
自己不行怪别人

用户10xxx59 回复 01-30 20:58
ptx啊

用户96xxx57

用户96xxx57

33
2025-01-30 10:36

连花清瘟2.0

问就是你买酥梨 回复 01-30 12:02
3.0[笑着哭]

老广杰克

老广杰克

25
2025-01-29 23:18

北大清华可以报,又立一功

James Yu

James Yu

23
2025-01-30 07:29

从底层开始做一些专用软件模块,比之于之间使用原厂提供或买来的通用模块,其速度和效率肯定提高,因为后者中80-90%的功能说不定永远用不到。

Jason

Jason

22
2025-01-30 08:23

如果是真的,是技术泄密吗?如果是假的,小编真会编。

亚龙斯

亚龙斯

20
2025-01-30 14:37

只有程序员才知道这意味着什么,能完成其中一部分程序用汇编语言重新编写,这是硬件工程师写驱动的实力。就是他们编写了一个驱动级的AI,就算是部分汇编而已,但已经让大部分用惯了所谓高级编程语言的码农惊讶不敢相信,可惜,他们忘记了上学时教授们为什么要教他们那些落后的汇编语言……这就是码农和真正程序工程师的区别。

不停奔跑 回复 01-30 19:07
汇编不落后,汇编编写复杂程序是高门槛技术活

城主

城主

13
2025-01-30 13:30

程序员用汇编,小编用会编。

李好坏

李好坏

9
2025-01-30 20:04

汇编效率果然是最高的

蛋不是这么扯地

蛋不是这么扯地

6
2025-01-30 08:52

本来还以为真的,韩国一出可信度还剩多少?

仲华求道

仲华求道

6
2025-01-30 23:13

公司成立1年半,就3个人交社保,你跟我说它用汇编?编码,训练,调试,测试,够时间?我尊重别人的看法,也保持自己的疑问

my god

my god

4
2025-01-30 14:45

汇编做底层是可以的,但Al必须是高级语言,如果说用了汇编就肯定自定了一种高级语言!

东沛评科技

东沛评科技

感谢大家的关注