基于香橙派AIpro+MindSpore的DeepSeek-R1-Distill- Qwen1.5B开发实践

01引言

DeepSeek-R1-Distill-Qwen-1.5B 是一个基于 Transformer 架构的生成式语言模型，适用于资源受限环境下的相关任务。

02实验环境

1.硬件

香橙派OrangePi AIpro: 20T+24G

显示器、键盘、鼠标等

2.软件

CANN版本: 8.0.0 beta1；

MindSpore版本: 2.5.0；

Python版本：3.9；

3.网络连接

连接互联网

03实验过程

本文以开发板连接显示器、键盘、鼠标实现，开发者也可自行尝试远程登录方式实现。

1.连接开发板

香橙派开发板通过HDMI口连接显示屏，香橙派USB3.0接口连接键盘和鼠标，DC口连接电源线

开发板开机成功后登录帐号HwHiAiUser，密码Mind@123

单击下方菜单栏的终端图标，或使用Ctrl+Alt+T快捷键，打开终端窗口，执行Linux命令

2.开发板环境检查

1）检查CANN版本

cat /usr/local/Ascend/ascend-toolkit/latest/aarch64-linux/ascend_toolkit_install.info

输出如下信息OK

否则，需参考：CANN升级指南 进行CANN升级或者降级。

2）检查MindSpore

pip show mindspore

若输出如下，则OK

否则，需按照下面命令进行MindSpore2.5安装。

pip uninstall mindspore -y 
pip install https://ms-release.obs.cn-north-4.myhuaweicloud.com/2.5.0/MindSpore/unified/aarch64/mindspore-2.5.0-cp39-cp39-linux_aarch64.whl--trusted-host ms-release.obs.cn-north-4.myhuaweicloud.com -i https://pypi.tuna.tsinghua.edu.cn/simple

3）Swap检查

free -m

正常输出结果

若swap没有配置，需要执行下面命令，配置swap 16G

sudo fallocate -l 16G /swapfile 
sudo chmod 600 /swapfile
sudo mkswap /swapfile 
sudo swapon /swapfile 
echo '/swapfile none swap sw 0 0' | sudo tee -a /etc/fstab

配置好后，可再次运行进行检查，确保swap成功

free -m

4）安装gradio

pip uninstall gradio -y 
pip install gradio==4.44.0

5）安装mindnlp （0.4版本）

pip install git+https://github.com/mindspore-lab/mindnlp.git@0.4

06）环境变量配置

检查.bashrc文件中是否包含以下内容，如有，请删除改内容

export PYTHONPATH=/home/HwHiAiUser/mindnlp:$PYTHONPATH

配置环境变量

echo 'export TE_PARALLEL_COMPILER=1' >>~/.bashrc 
echo 'export MAX_COMPILE_CORE_NUMBER=1' >>~/.bashrc
source ~/.bashrc

7）安装cgroup

sudo apt-get update
sudo apt-get install cgroup-tools
# 检查是否安装成功
cgcreate --help

3.deepseek部署

步骤1：新建Deepseek-Qwen文件夹

mkdir Deepseek-Qwen

步骤2：下载代码文件

从代码仓库下载源码，放到Deepseek-Qwen文件夹下

步骤3：运行测试

打开终端，进入Deepseek-Qwen文件夹，运行以下命令测试推理代码

cd Deepseek-Qwen
python deepseek-r1-distill-qwen-1.5b.py

推理代码正常运行日志如下：

PS：运行过程中，会从modelers等国内镜像平台下载模型文件，一定要确保开发板联网以及mindnlp是0.4版本。

复制http链接：http://127.0.0.1:7860/到浏览器并打开

在输入框，输入问题，等待反馈结果。

04实验总结

本实验基于香橙派AIpro开发板，实现DeepSeek-R1-Distill-Qwen-1.5B部署，通过本实验，您可以了解MindSpore及Mindnlp安装及推理的代码实现。