华为云发布CloudMatrix384超节点,硅基流动上线对应DeepSeek-R1

IT之家 2025-04-10 18:41:19

IT之家4月10日消息,在今日举行的华为云生态大会2025上,华为常务董事、华为云计算CEO张平安公布了AI基础设施架构进展,推出CloudMatrix384超节点,并宣布已在芜湖数据中心规模上线。

据介绍,华为云CloudMatrix384超节点可实现从服务器级到矩阵级的资源供给模式转变,具备“高密”“高速”“高效”的特点,通过架构创新,在算力、互联带宽、内存带宽等方面实现领先。

华为云还表示,对昇腾AI云服务进行持续优化,目前其已全面适配包含DeepSeek在内的160多个第三方大模型,为大模型训推提供可靠保障,支撑行业应用快速落地。此外,华为云盘古大模型已在30多个行业、400多个场景中落地,在城市治理、智慧金融、医疗健康、气象预测等领域广泛应用。

IT之家注意到,硅基流动今日也宣布联合华为云基于CloudMatrix384超节点昇腾云服务和高性能推理框架SiliconLLM,用大规模专家并行最佳实践正式上线DeepSeek-R1。

硅基流动介绍称,该服务在保证单用户20TPS水平前提下,单卡Decode吞吐突破1920Tokens/s,可比肩H100部署性能。同时,经过主流测试集验证及大规模线上盲测,在昇腾算力部署DeepSeek-R1的模型精度与DeepSeek官方保持一致。

0 阅读:1
IT之家

IT之家

爱科技,爱这里 - 前沿科技人气平台