Cerebras推出全球最快AI推理解决方案,速度是英伟达方案的...

动点科克 2024-08-29 12:46:33

掌握AIGC脉动,把握科技脉搏。动点科技每天收集汇总全球AIGC进展与热点,每天5分钟带您了解AIGC,希望与您共同玩转 AIGC,解码行业发展新风向,开启智慧新时代!

文 |动点科技排版|Miziko本文预计阅读时长5分钟

01

消息称亚马逊 10 月发布 Alexa AI 订阅版:月费 10 美元,梳理、汇总用户感兴趣的信息流

据华盛顿邮报道,亚马逊内部正研发名为“Remarkable Alexa”的全新 AI 模型,加入到激烈的 AI 竞争中。消息称该 AI 模型内部代号为“Project Banyan”,亚马逊有望于 2024 年 10 月发布,主要分析人们如何使用现有的人工智能模型,并挑选出用户最需要的部分。该 AI 模型主要帮助客户策划、总结和探索头条、感兴趣的资讯等内容。消息源还表示亚马逊正在开发 Smart Briefing 功能,将基于用户的兴趣、爱好等因素,生成用户感兴趣的新闻流。报道称“Remarkable Alexa”上线后会采用订阅制,每月费用为 10 美元)。

02

Cerebras 推出全球最快 AI 推理解决方案,速度是英伟达方案的 20 倍

Cerebras Systems 日前宣布推出 Cerebras Inference,官方称这是全球最快的 AI 推理解决方案。该新解决方案为 Llama 3.1 8B 提供每秒 1800 个 token,为 Llama 3.1 70B 提供每秒 450 个 token,速度是微软 Azure 等超大规模云中提供的基于英伟达 GPU 的 AI 推理解决方案的 20 倍。除了令人难以置信的性能之外,这款新型推理解决方案的定价也比流行的 GPU 云低得多,起价仅为每百万个 token 10 美分,从而为 AI 工作负载提供 100 倍更高的性价比。该方案将允许 AI 应用程序开发人员构建下一代 AI 应用程序,而不会影响速度或成本。该方案使用了 Cerebras CS-3 系统及其 Wafer Scale Engine 3(WSE-3)AI 处理器,其中 CS-3 的内存带宽是 Nvidia H100 的 7000 倍,解决了生成式 AI 的内存带宽技术挑战。

03

NVIDIA与全球合作伙伴推出NIM Agent蓝图

NVIDIA今日宣布推出NIM™ Agent蓝图,这是一套预训练且可定制的AI工作流目录,旨在为数百万企业开发者提供构建和部署生成式AI应用的完整软件套件,适用于包括客户服务虚拟助手、药物发现虚拟筛选和PDF数据提取在内的典型用例,未来还将推出更多应用场景。NIM Agent蓝图为开发者提供了一个快速启动平台,帮助他们创建使用一个或多个AI代理的AI应用。这些蓝图包含了由NVIDIA NeMo™、NVIDIA NIM以及合作伙伴的微服务构建的示例应用、参考代码、定制化文档以及用于部署的Helm图表。企业可以根据自身的业务数据对NIM Agent蓝图进行调整,并在加速的数据中心和云环境中运行其生成式AI应用。通过NIM Agent蓝图,企业能够基于用户反馈持续优化其AI应用,从而创建一个数据驱动的AI飞轮。目前,首批NIM Agent蓝图已包括一个用于客户服务的数字人工作流、一个用于计算机辅助药物发现的生成式虚拟筛选工作流,以及一个用于企业检索增强生成(RAG)的多模态PDF数据提取工作流。企业开发者可以免费体验并下载这些蓝图,并通过NVIDIA AI Enterprise软件平台在生产环境中部署。

本文为动点科技整理,未经授权不得转载,如需转载或开白请在后台回复“转载”。

- - - - - - - - END - - - - - - - -

*想要获取行业资讯、和志同道合的科技爱好者们分享心得,那就赶快扫码添加“动点君”加入群聊吧!群里更有不定期福利发放!

精彩好文值得推荐!

一键转发,戳个在看!

0 阅读:0

动点科克

简介:感谢大家的关注