英特尔Gaudi2DAI加速器为DeepSeekJanusPro模型进行优化

IT之家 2025-02-01 10:14:08

IT之家2月1日消息,近日,DeepSeek发布JanusPro模型,英特尔Gaudi2DAI加速器现已针对该模型进行优化,为AI应用的落地和规模化发展提供的支持。

IT之家获悉,DeepSeekJanus模型集成了多模态理解和生成功能。该模型首次采用统一的Transformer架构,突破了传统AIGC模型依赖多路径视觉编码的限制,实现了理解与生成任务的一体化支持。在此基础上,JanusPro通过优化训练策略和扩展模型规模,显著提升了文生图等功能的性能与稳定性,并提供了10亿参数和70亿参数两个版本。

英特尔Gaudi2D凭借2.45TB/秒的高带宽和96GBHBM大容量内存,为JanusPro模型提供了强大的计算支持,使其在生图批处理任务中,随着批量大小的增加,吞吐性能得到显著提升,大幅缩短任务处理时间。

与此同时,结合英特尔Optimum-Habana框架的优化,英特尔Gaudi2D显著提升了文生图任务的吞吐性能和推理效率,仅需约10秒即可生成16张高质量的图片。而且,开发者仅需调整数行代码,即可实现这一结果,极大降低了开发门槛和迁移成本。此外,DeepSeek的蒸馏模型在至强和Gaudi平台上也得到了支持。

0 阅读:0