--- title: MindIE+香橙派，边缘开发板部署DeepSeek系列蒸馏模型-官方技术文章-Atlas Community description: 让DeepSeek系列蒸馏模型跑在香橙派上 keywords: MindIE,香橙派,DeepSeek,边缘开发板部,系列蒸馏模型,官方技术文章,Atlas,Community url: https://www.hiascend.com/developer/techArticles/20250225-3?envFlag=1 section: (其他) --- # MindIE+香橙派，边缘开发板部署DeepSeek系列蒸馏模型-官方技术文章-Atlas Community URL: https://www.hiascend.com/developer/techArticles/20250225-3?envFlag=1 描述: 让DeepSeek系列蒸馏模型跑在香橙派上 关键词: MindIE,香橙派,DeepSeek,边缘开发板部,系列蒸馏模型,官方技术文章,Atlas,Community 官方技术文章 [了解详情](https://www.hiascend.com/zh/developer/techArticles) MindIE+香橙派，边缘开发板部署DeepSeek系列蒸馏模型 MindIE+香橙派，边缘开发板部署DeepSeek系列蒸馏模型 香橙派DeepSeek Released: 2025/02/25 # 让DeepSeek系列蒸馏模型跑在香橙派上 MindIE（Mind Inference Engine，昇腾推理引擎）是华为昇腾针对AI全场景业务的推理加速套件。通过分层开放AI能力，支撑用户多样化的AI业务需求，使能百模千态，释放昇腾硬件设备算力。向上支持多种主流AI框架，向下对接不同类型昇腾AI处理器，提供多层次编程接口，帮助用户快速构建基于昇腾平台的推理业务。DeepSeek-R1-Distill 模型是一系列通过蒸馏技术从 DeepSeek-R1 中提取知识的小型密集模型。这些模型保留了大型模型（如 DeepSeek-R1）的高级推理能力，同时具备更小的模型尺寸和高效的计算性能。这些蒸馏模型基于 Qwen2.5 和 Llama3 系列，这些系列本身在研究社区中已经得到了广泛的应用和认可。香橙派的OrangePi AIpro开发板采用昇腾AI技术路线，无论在外观上、性能上还是技术服务支持上都非常优秀，提供20TOPS和8TOPS两种规格澎湃算力，能覆盖生态开发板者的主流应用场景，让用户实践各种创新场景，并为其提供配套的软硬件。DeepSeek+香橙派+MindIE的结合，成功将DeepSeek-R1-Dstill-Qwen-1.5B、DeepSeek-R1-Dstill-Qwen-7B、DeepSeek-R1-Dstill-Llama-8B部署在AI开发板OrangePi AIpro（20T/24GDDR）上，让我们看到了边缘端在AI上的巨大潜力。 开源链接：https://www.hiascend.com/software/modelzoo/models/detail/1ca4ef12682a42999efe09c0c80c76d3 [了解详情](https://www.hiascend.com/software/modelzoo/models/detail/1ca4ef12682a42999efe09c0c80c76d3)https://www.hiascend.com/software/modelzoo/models/detail/fe210c6671554ecb84fd3a09051f0844 [了解详情](https://www.hiascend.com/software/modelzoo/models/detail/fe210c6671554ecb84fd3a09051f0844)https://www.hiascend.com/software/modelzoo/models/detail/199a16c30e764c90aefefa1fd943f90 [了解详情](https://www.hiascend.com/software/modelzoo/models/detail/199a16c30e764c90aefefa1fd943f90) ## 01环境准备 硬件：OrangePi AIPro(20T/24GDDR)开发版一台、TF卡一张、TF 卡读卡器、屏幕连接线、显示器、开发板电源等。首先，从官网下载开发板的Ubuntu22.04镜像和相关的资料。（http://www.orangepi.cn/html/hardWare/computerAndMicrocontrollers/service-and-support/Orange-Pi-AIpro(20T).html） 然后将TF卡插入读卡器中，打开镜像烧录软件balenaEtcher进行烧录，烧录完成后会显示Successful。 将烧录好的TF卡插入卡槽中，连接键盘、鼠标、显示屏并启动开发板。 ## 02安装python依赖 安装python3.10： - ``` wget https://www.python.org/ftp/python/3.10.2/Python-3.10.2.tgz ``` - 安装使昇腾NPU可以适配PyTorch框架的插件torch_npu，下载链接： - ``` pip install torch==2.1.0 ``` ## 03安装CANN 升级昇腾异构计算架构（CANN）开发工具。下载cann-toolkit（https://mindie.obs.cn-north-4.myhuaweicloud.com/xiangchengpai_20250211/Ascend-cann-toolkit_8.1.RC1_linux-aarch64.run [了解详情](https://mindie.obs.cn-north-4.myhuaweicloud.com/xiangchengpai_20250211/Ascend-cann-toolkit_8.1.RC1_linux-aarch64.run)）、cann-kernels（https://mindie.obs.cn-north-4.myhuaweicloud.com/xiangchengpai_20250211/Ascend-cann-kernels-310b_8.1.RC1_linux-aarch64.run [了解详情](https://mindie.obs.cn-north-4.myhuaweicloud.com/xiangchengpai_20250211/Ascend-cann-kernels-310b_8.1.RC1_linux-aarch64.run)）、cann-nnal（https://mindie.obs.cn-north-4.myhuaweicloud.com/xiangchengpai_20250211/Ascend-cann-nnal_8.1.RC1_linux-aarch64.run [了解详情](https://mindie.obs.cn-north-4.myhuaweicloud.com/xiangchengpai_20250211/Ascend-cann-nnal_8.1.RC1_linux-aarch64.run)）安装包，运行命令： - ``` chmod +x Ascend-cann-toolkit_8.1.RC1_linux-aarch64.run ``` ## 04安装MindIE 下载华为MindIE推理方案下的大语言模型推理组件MindIE-LLM，下载链接：（https://mindie.obs.cn-north-4.myhuaweicloud.com/xiangchengpai_20250211/Ascend-mindie-atb-models_2.0.RC1_linux-aarch64_py310_torch2.1.0-abi0.tar.gz [了解详情](https://mindie.obs.cn-north-4.myhuaweicloud.com/xiangchengpai_20250211/Ascend-mindie-atb-models_2.0.RC1_linux-aarch64_py310_torch2.1.0-abi0.tar.gz)） - ``` mkdir MindIE-LLM ``` ## 05模型下载和部署 下载模型代码： - ``` # 下载DeepSeek-R1-Dstill-Qwen-1.5B ``` 安装依赖： - ``` cd DeepSeek-R1-Distill-{model}-OrangePi ``` 下载权重：DeepSeek-R1-Distill-Qwen-1.5B（Int8）（https://modelers.cn/models/MindIE/DeepSeek-R1-Distill-Qwen-1.5B-OrangePi/tree/main/deepseek-qwen-1.5B-w8a8 [了解详情](https://modelers.cn/models/MindIE/DeepSeek-R1-Distill-Qwen-1.5B-OrangePi/tree/main/deepseek-qwen-1.5B-w8a8)）DeepSeek-R1-Distill-Qwen-1.5B（FP16）（https://huggingface.co/deepseek-ai/DeepSeek-R1-Distill-Qwen-1.5B [了解详情](https://huggingface.co/deepseek-ai/DeepSeek-R1-Distill-Qwen-1.5B)）DeepSeek-R1-Distill-Qwen-7B(FP16)（https://huggingface.co/deepseek-ai/DeepSeek-R1-Distill-Qwen-7B [了解详情](https://huggingface.co/deepseek-ai/DeepSeek-R1-Distill-Qwen-7B)）生成[DeepSeek-R1-Distill-Qwen-7B的INT8量化权重请参考README（https://gitee.com/ascend/ModelZoo-PyTorch/tree/master/MindIE/LLM/DeepSeek/DeepSeek-R1-Distill-Qwen-7B-OrangePi [了解详情](https://gitee.com/ascend/ModelZoo-PyTorch/tree/master/MindIE/LLM/DeepSeek/DeepSeek-R1-Distill-Qwen-7B-OrangePi)）中的“ 本地部署w8a8量化”章节DeepSeek-R1-Distill-Llama-8B(FP16)（https://huggingface.co/deepseek-ai/DeepSeek-R1-Distill-Llama-8B [了解详情](https://huggingface.co/deepseek-ai/DeepSeek-R1-Distill-Llama-8B)）生成[DeepSeek-R1-Distill-Llama-8B的INT8量化权重请参考README（https://gitee.com/ascend/ModelZoo-PyTorch/tree/master/MindIE/LLM/DeepSeek/DeepSeek-R1-Distill-Llama-8B-OrangePi [了解详情](https://gitee.com/ascend/ModelZoo-PyTorch/tree/master/MindIE/LLM/DeepSeek/DeepSeek-R1-Distill-Llama-8B-OrangePi)）中的“ 本地部署w8a8量化”章节。修改权重config.json，将torch_dtype字段改为float16，max_position_embedding字段改为4096。 ## 06执行推理 以上步骤完成之后即可在终端中输入问题进行测试： - ``` cd $MindIE_LLM_PATH ``` #### 命令行参数说明 --model_path 权重路径 --input_text 指定输入内容 --max_output_length 指定最大输出长度 --is_chat_model 请在执行FP16模型推理时开启此选项 This Page