人工智能初创公司 SambaNova Systems 由 Sun、Oracle 和斯坦福大学的校友于 2017 年创立，宣布创建世界上最快的 DeepSeek-R1 671B 模型部署系统。
图片来源： sambanova.ai
SambaNova 仅在 16 个定制的加速器上就实现了每秒 198 个令牌的 DeepSeek-R1 速度，这一结果也只能通过部署 40 个机架和 320 个 Nvidia GPU 来实现。“SN40L RDU 芯片上的 SambaNova 已成为推出 DeepSeek 最快的平台。这比单个机架上的最新 GPU 的速度提高了 5 倍，到今年年底，我们将为 DeepSeek-R1 提供 100 倍的容量，“SambaNova 联合创始人兼首席执行官 Rodrigo Liang 承诺。
计算密集型 AI 工作负载传统上由 Nvidia GPU 提供支持，但 SambaNova 认为，该公司的可配置数据流架构是一种更高效的解决方案。与当今最强大的 GPU 相比，其硬件运行速度提高了三倍，功耗降低了五倍，同时保留了 DeepSeek-R1 的全部处理能力。这一成就得到了 Artificial Analysis 的专家的证实，该公司对 AI 系统进行独立评估。
DeepSeek-R1 671B 开放模型可通过 API 在 SambaNova 云中使用。该公司正在积极增加其容量，并希望在不久的将来达到每秒 20,000 个代币的总吞吐量。
