4月29日凌晨,阿里巴巴开源新一代通义千问模型Qwen3(简称千问3),在美国硅谷技术圈引起热议。苹果机器学习科学家奥维尼·汉农(AwniHannun)第一时间就在苹果处理器芯片上完成千问3全系列模型测试,认为“有很酷的特性”,并表示苹果机器学习框架与千问3是最佳搭档,开发者可以在苹果多终端上适配部署千问3,包括Mac、iPhone等。
奥维尼·汉农的测试数据显示,在M2Ultra芯片运行235B混合专家模型(MoE)时,仅需132GB内存即可实现每秒28个token的生成速度;而在M4Max芯片上,部分模型版本最高吞吐522.43tokens/s,最低内存占用仅0.44GB。
所有千问3模型都是混合推理模型,可通过API设置预期最大思考深度,实现“快思考”与“慢推理”的模式切换,为不同场景提供灵活的性能成本方案。这个技术特性让奥维尼·汉农觉得“很酷”。
鉴于千问3与苹果芯片平台展现出良好的适配性,奥维尼·汉农表示,MLX(苹果机器学习框架)与千问3是最佳搭档。开发者已可通过mlx-lm在苹果多终端部署千问3全系列模型,涵盖从iPhone到MacbookPro直至工作站级设备的多款产品。
除了苹果,众多科技公司也相继成功速配千问3。
今天,知名芯片厂商联发科技(MediaTek)迅速完成和Qwen3-0.6B、Qwen3-1.7B、Qwen3-3B三款模型的适配,未来搭载天玑9400的智能手机可高效运行该模型,为用户提供高效的AI推理能力。
联发科技是最早布局端侧AI的芯片设计公司之一,其上一代旗舰芯片天玑9300已完成Qwen2-7B等大模型的适配,在性能和功耗上均表现优秀。作为联发科技旗下最新的旗舰芯片,天玑9400的AI能力进一步提升,智能体AI任务的推理速度提升20%。
全球领先的计算平台公司Arm已成功适配千问3,成为首批成功适配该模型的硬件厂商,通过集成其开源计算内核ArmKleidiAI和阿里开源的轻量级深度学习框架MNN,Qwen3-0.6B、Qwen3-1.7B及Qwen3-4B三款模型能够实现在搭载Arm架构CPU的移动设备上无缝运行,可为用户提供强大的端侧AI推理能力。
在此之前,Arm已适配多款通义千问大模型,今年三月,在搭载基于ArmCortex-X925旗舰移动系统芯片(SoC)的智能设备上流畅运行了Qwen2-VL-2B-Instruct,通过ArmKleidiAI与MNN的集成,实现了模型预填充性能提升57%,解码性能提升28%。