【高通推AI200/AI250人工智能芯片:面向数据中心 兼容主流AI框架】
10月27日,高通官方宣布推出了面向数据中心的下一代AI推理优化解决方案——基于高通AI200和AI250芯片打造的加速卡和机架。这两大方案都以高通NPU技术为基础,具有丰富的软件栈,并与主流AI框架兼容,支持一键式模型部署,我爱音频网报道。
高通AI200带来了专为机架级AI推理打造的解决方案,针对大语言模型和多模态模型(LLM、LMM)推理和其他AI工作负载优化了性能,并具有总体拥有成本(TCO)更低的优势。该方案每张卡支持768GB LPDDR大内存,实现更高容量的同时,也能降低成本,带来更出色的扩展能力和灵活性。