昇腾AI+香橙派,让DeepSeek跑在边缘AI开发板

开源其实不简单 2025-02-13 20:52:35

当 AI 从云端下沉到边缘设备,当 IoT 设备开始自主思考,2025 年,开发者们正迎来一个崭新的领域:边缘端 AI 开发。

如何将大模型塞进巴掌大的开发板?如何通过先进算力和硬件架构实现高效的端侧智能?

近期 Gitee AI 携手昇腾 AI 与香橙派,成功将DeepSeek-R1-Distill-Qwen-1.5B部署在 AI 开发板OrangePi AIpro(20T)上,这也让我们看到了边缘端 AI 开发的巨大潜力。

「好板」和「好芯」的完美结合

香橙派(Orange Pi)是深圳市迅龙软件有限公司旗下开源产品品牌,迅龙软件成立于2005年,是全球领先的开源硬件和开源软件服务商。

经过多年的技术革新和市场研究,香橙派已经迭代了三十多款产品,用户数量超过 300 万人,覆盖全球超过 100 个国家,成为了开发板行业高质量的代名词。

其中香橙派联合昇腾 AI 打造的 OrangePi AIpro(20T)在发布后受到了广泛关注,其核心硬件规格如下:

CPU:4核64位处理器+AI处理器,1个DaVinciV300 AI core,主频1.224GHz,4个TAISHANV200M处理器核,主频1.6GHz

AI 算力:支持 20TOPS AI 算力

内存:12GB/24GB(可选)LPDDR4X 内存

此外,OrangePi AIpro(20T)还引用了相当丰富的接口,包括两个 HDMI 输出、GPIO 接口、Type-C 电源接口、支持 SATA/NVMe SSD 2280 的 M.2 插槽、TF 插槽、2.5G 高速网口、三个 USB3.0、一个USB Type-C 3.0、一个Type-C(串口打印调试功能)、两个 MIPI 摄像头、一个 MIPI 屏等。

OrangePi AIpro支持 Ubuntu、openEuler操作系统,满足大多数 AI 算法原型验证、推理应用开发的需求。

而OrangePi AIpro背后的算力基石昇腾 AI,凭借自主研发的达芬奇架构与 CANN 异构计算架构,为开发者提供了从模型训练到端侧部署的全栈工具链。

昇腾+香橙派的强强联合,不仅为硬件性能提供了坚实保障,更推动了国内智能边缘计算领域的发展,让这一领域的探索迈出了重要的一步。

让 DeepSeek 千问蒸馏模型跑在香橙派上

Gitee AI 团队也在近期拿到了OrangePi AIpro(20T)24G 内存版本,并成功在其之上部署了DeepSeek-R1-Distill-Qwen-1.5B模型。

烧录

官网下载镜像后,使用烧录工具将系统烧录到准备好的 SD 卡中。

烧录完成后将 SD 卡插入到开发板上,连接电源后顺利开机。

安装昇腾工具链及 MindSpore

开机后进入系统,进入昇腾 CANN 官网,下载所需版本 toolkit 包后,随后安装并升级 CANN 及 Kernels。

安装MindSpore:

pip install mindspore==2.3.1安装 MindSpore daily 包

香橙派开发板支持自定义安装 MindSpore daily 包,可前往https://repo.mindspore.cn/下载。

选择对应日期目录后,依次进入master、unified、aarch64目录,选择和香橙派开发板默认的 Python3.9 对应的包即可。

拉取模型

从 Gitee AI 将DeepSeek-R1-Distill-Qwen-1.5B拉取到开发板上,模型下载方式可参考 Gitee AI 文档:https://ai.gitee.com/docs/models/downloading

运行 Demo 代码

下载案例代码:

git clone https://gitee.com/chasecyang/orange-pi-mindspore.git

进入Online/DeepSeek-R1-Distill-Qwen-1.5B目录,下载 Qwen 案例代码DeepSeek-R1-Distill-Qwen-1.5B.py,并运行。

cd /home/HwHiAiUser/Downloads # 请更改为DeepSeek-R1-Distill-Qwen-1.5B.py文件实际所在路径python DeepSeek-R1-Distill-Qwen-1.5B.py

在浏览器中打开链接http://127.0.0.1:7860进入网页交互界面,即可开始使用在OrangePi AIpro(20T)部署的DeepSeek-R1-Distill-Qwen-1.5B模型:

Gitee AI 昇腾开发板专区上线:一站式边缘开发体验

上文中的小试牛刀让 Gitee AI、昇腾 AI 和香橙派看到了智能边缘设备的广阔前景,我们相信边缘计算将成为 AI 应用的重要驱动力,为各行各业带来更多创新的解决方案。

为了进一步推动这一进程,Gitee AI 昇腾 AI 开发板专区已正式上线:https://ai.gitee.com/topics/ascend-edge

在昇腾 AI 开发板专区中,开发者们可获取到硬件支持的模型、相关部署教程、硬件购买优惠等福利,帮助开发者更快上手、熟悉、掌握边缘设备的开发和智能化。

以此为基础,Gitee AI 将与昇腾 AI 及香橙派继续加深合作,适配更多 AI 模型到边缘设备上,探索更多边缘端应用场景、能力和特性,提供一站式的边缘开发体验。

我们期待与各位开发者一起,探索更多的AI应用场景,推动国内边缘计算领域的应用和发展,开启边缘 AI 开发的新篇章!

文末彩蛋:Gitee AI 团队正全力攻坚其他模型在香橙派上的适配,打造更多边缘端模型方案,敬请期待!

0 阅读:20
开源其实不简单

开源其实不简单

感谢大家的关注