---
title: DeepSeek-R1-Distill-Llama-8B-OrangePi-模型库-ModelZoo-昇腾社区
description: DeepSeek-R1-Distill-Llama-8B是DeepSeek AI从DeepSeek-R1模型中蒸馏出来的Llama模型，比经过强化学习训练出来的小型稠密模型拥有更好的推理能力。本模型支持OrangePi AiPro（20T/24GDDR）开发板。
keywords: DeepSeek,Distill,Llama,OrangePi,模型库,ModelZoo,昇腾社区,约束条件
url: https://www.hiascend.com/software/modelzoo/models/detail/199a16c30e764c90aefefa1fd943f90f
section: (其他)
---

# DeepSeek-R1-Distill-Llama-8B-OrangePi-模型库-ModelZoo-昇腾社区

URL: https://www.hiascend.com/software/modelzoo/models/detail/199a16c30e764c90aefefa1fd943f90f
描述: DeepSeek-R1-Distill-Llama-8B是DeepSeek AI从DeepSeek-R1模型中蒸馏出来的Llama模型，比经过强化学习训练出来的小型稠密模型拥有更好的推理能力。本模型支持OrangePi AiPro（20T/24GDDR）开发板。
关键词: DeepSeek,Distill,Llama,OrangePi,模型库,ModelZoo,昇腾社区,约束条件

ModelZoo主页

主页 [了解详情](https://www.hiascend.com/software/modelzoo)大模型 [了解详情](https://www.hiascend.com/software/modelzoo/big-models)模型库 [了解详情](https://www.hiascend.com/software/modelzoo/models)工具库 [了解详情](https://www.hiascend.com/software/modelzoo/tools)权重库 [了解详情](https://www.hiascend.com/software/modelzoo/datasets)ModelShow [了解详情](https://www.hiascend.com/software/modelzoo/modelshow)DeepSeek专区HOT [了解详情](https://www.hiascend.com/developer/deepseek)文档中心论坛交流

主页 [了解详情](https://www.hiascend.com/software/modelzoo)大模型 [了解详情](https://www.hiascend.com/software/modelzoo/big-models)模型库 [了解详情](https://www.hiascend.com/software/modelzoo/models)工具库 [了解详情](https://www.hiascend.com/software/modelzoo/tools)权重库 [了解详情](https://www.hiascend.com/software/modelzoo/datasets)ModelShow [了解详情](https://www.hiascend.com/software/modelzoo/modelshow)DeepSeek专区HOT [了解详情](https://www.hiascend.com/developer/deepseek)文档中心论坛交流

模型库 [了解详情](https://www.hiascend.com/software/modelzoo/models)

DeepSeek-R1-Distill-Llama-8B-OrangePi

## DeepSeek-R1-Distill-Llama-8B-OrangePi

LLMPyTorch推理1311次浏览2025/12/29更新

获取源码

点击DeepSeek专区 [了解详情](https://www.hiascend.com/developer/deepseek)获取更多资源

DeepSeek-R1-Distill-Llama-8B-OrangePi

点击DeepSeek专区 [了解详情](https://www.hiascend.com/developer/deepseek)获取更多资源

查看模型源码

...

# DeepSeek-R1-Distill-Llama-8B-OrangePi

## 约束条件

- 在20t24g 香橙派aipro上部署DeepSeek-R1-Distill-Llama-8B模型
- 需要修改权重目录下的config.json文件，"torch_dtype"字段改为"float16", "max_position_embedding"字段改为8192
- 由于此硬件为单卡，仅支持TP=1

## 权重

权重下载

- DeepSeek-R1-Distill-Llama-8B [了解详情](https://huggingface.co/deepseek-ai/DeepSeek-R1-Distill-Llama-8B/tree/main)

## 量化权重生成（可选，二选一）

### 魔乐社区下载量化权重(推荐)

量化权重下载

- DeepSeek-R1-Distill-Llama-8B-W8A8-OrangePi [了解详情](https://modelers.cn/models/MindIE/DeepSeek-R1-Distill-Llama-8B-OrangePi/tree/main/deepseek-llama-8B-w8a8)

### 本地部署w8a8量化

- 使用此方法需要另外准备一台Atlas 800I A2或Atlas 300I DUO，转换成功后需把权重转移至香橙派上
- 生成量化权重依赖msModelSlim工具，安装方式见此README [了解详情](https://gitee.com/ascend/msit/tree/dev/msmodelslim)
- W8A8量化权重请使用以下指令生成

```
# 设置CANN包的环境变量
source /usr/local/Ascend/ascend-toolkit/set_env.sh
# 虚拟内存
export PYTORCH_NPU_ALLOC_CONF=expandable_segments:False
# 进入atb-models目录
cd ${ATB_SPEED_HOME_PATH}
# DeepSeek-R1-Distill-Llama-8B量化，无回退层，antioutlier使用m1算法配置，使用min-max量化方式，校准数据集使用50条BoolQ数据，在NPU上进行运算
python3 msit/msmodelslim/example/Llama/quant_llama.py --model_path $ORG --save_directory $MODEL --calib_file msit/msmodelslim/example/common/boolq.jsonl --w_bit 8 --a_bit 8 --device_type npu --disable_names "lm_head" --anti_method m4
```

- 再执行以下python脚本把deq_scale转换成int64

```
import os
import numpy as np
import torch
from safetensors.torch import load_file
from safetensors.torch import save_file

def deqscale2int64(scale):
    scale = scale.numpy()
    scale = np.frombuffer(scale.tobytes(), dtype=np.int32).astype(np.int64)
    scale = torch.tensor(scale)
    return scale

MODEL_PATH = "" # 在此处添加模型路径

safetensor_path = os.path.join(MODEL_PATH, 'quant_model_weight_w8a8.safetensors')
safetensor_weight = load_file(safetensor_path)

for key in safetensor_weight.keys():
    if 'deq_scale' in key:
        safetensor_weight[key] = deqscale2int64(safetensor_weight[key])

save_file(safetensor_weight, safetensor_path)
```

- 把转换成功的权重转移至香橙派

## 新建环境

### 1.1 安装CANN

- CANN-kernels下载链接 [了解详情](https://mindie.obs.cn-north-4.myhuaweicloud.com/xiangchengpai_20250211/Ascend-cann-kernels-310b_8.1.RC1_linux-aarch64.run)
- CANN-toolkit下载链接 [了解详情](https://mindie.obs.cn-north-4.myhuaweicloud.com/xiangchengpai_20250211/Ascend-cann-toolkit_8.1.RC1_linux-aarch64.run)
- 安装顺序：先安装toolkit 再安装kernel

#### 1.1.1 安装toolkit

- 下载

| cpu | 包名（其中${version}为实际版本） |
| --- | ---|
| aarch64 | Ascend-cann-toolkit_${version}_linux-aarch64.run |

- 安装

```
# 安装toolkit  以arm为例
chmod +x Ascend-cann-toolkit_${version}_linux-aarch64.run
./Ascend-cann-toolkit_${version}_linux-aarch64.run --install
source /usr/local/Ascend/ascend-toolkit/set_env.sh
```

#### 1.1.2 安装kernel

- 下载

| 包名 |
| ---|
| Ascend-cann-kernels-*_${version}_linux.run |

- 根据芯片型号选择对应的安装包
- 安装

```
chmod +x Ascend-cann-kernels-*_${version}_linux.run
./Ascend-cann-kernels-*_${version}_linux.run --install
```

#### 1.1.3 安装加速库

- 下载加速库

- 下载链接 [了解详情](https://mindie.obs.cn-north-4.myhuaweicloud.com/xiangchengpai_20250211/Ascend-cann-nnal_8.1.RC1_linux-aarch64.run)。

| 包名（其中${version}为实际版本） |
| ---|
| Ascend-cann-nnal_${version}_linux-aarch64.run |

- 将文件放置在${working_dir}路径下
- 安装

```
chmod +x Ascend-cann-nnal_*_linux-*.run
./Ascend-cann-nnal_*_linux-*.run --install --install-path=${working_dir}
source ${working_dir}/nnal/atb/set_env.sh
```
- 可以使用以下指令查看abi是0还是1

```
python -c "import torch; print(torch.compiled_with_cxx11_abi())"
```

- 若输出结果为True表示abi1，False表示abi0

### 1.2 安装PytorchAdapter

先安装torch 再安装torch_npu

#### 1.2.1 安装torch

- 下载

| 包名 |
| ---|
| torch-2.1.0-cp310-cp10-linux_aarch64.whl |

- 根据所使用的环境中的python版本以及cpu类型，选择对应版本的torch安装包。
- 安装

```
# 安装torch 2.1.0 的python 3.10 的arm版本为例
pip install torch-2.1.0-cp310-cp310-linux_aarch64.whl
```

#### 1.2.2 安装torch_npu

下载PyTorch Adapter [了解详情](https://www.hiascend.com/developer/download/community/result?module=pt)，安装方法：

| 包名 |
| ---|
| pytorch_v2.1.0_py38.tar.gz |
| pytorch_v2.1.0_py39.tar.gz |
| pytorch_v2.1.0_py310.tar.gz |
| ... |

- 安装选择与torch版本以及python版本一致的npu_torch版本

```
# 安装 torch_npu，以 torch 2.1.0，python 3.10 的版本为例
tar -zxvf pytorch_v2.1.0_py310.tar.gz
pip install torch*_aarch64.whl
```

### 1.3 安装开源软件依赖

| 默认依赖                 |requirement.txt [了解详情](https://www.hiascend.com/./requirements.txt)|

- 开源软件依赖请使用下述命令进行安装：

```
pip install -r ./requirements.txt
```

### 1.4 安装模型仓

- 使用编译好的包进行安装

- 下载编译好的包

- 下载链接-abi0 [了解详情](https://mindie.obs.cn-north-4.myhuaweicloud.com/xiangchengpai_20250211/Ascend-mindie-atb-models_2.0.RC1_linux-aarch64_py310_torch2.1.0-abi0.tar.gz)
- 下载链接-abi0 [了解详情](https://mindie.obs.cn-north-4.myhuaweicloud.com/xiangchengpai_20250211/Ascend-mindie-atb-models_2.0.RC1_linux-aarch64_py310_torch2.1.0-abi1.tar.gz)

| 包名 |
| ---|
| Ascend-mindie-atb-models_1.0.RC1_linux-aarch64_torch1.11.0-abi0.tar.gz |
| Ascend-mindie-atb-models_1.0.RC1_linux-aarch64_torch2.1.0-abi1.tar.gz |
- 将文件放置在${working_dir}路径下
- 解压

```
cd ${working_dir}
mkdir MindIE-LLM
cd MindIE-LLM
tar -zxvf ../Ascend-mindie-atb-models_*_linux-*_torch*-abi*.tar.gz
```
- 安装atb_llm whl包

```
cd ${working_dir}/MindIE-LLM
# 首次安装
pip install atb_llm-0.0.1-py3-none-any.whl
# 更新
pip install atb_llm-0.0.1-py3-none-any.whl --force-reinstall
```

## 模型推理

### 对话测试

进入llm_model路径

```
cd $ATB_SPEED_HOME_PATH
```

执行对话测试

```
python   -m examples.run_fa_edge \
         --model_path ${权重路径} \
         --input_text 'What is deep learning?' \
         --max_output_length 20 \
```

## 声明

- 本代码仓提到的数据集和模型仅作为示例，这些数据集和模型仅供您用于非商业目的，如您使用这些数据集和模型来完成示例，请您特别注意应遵守对应数据集和模型的License，如您因使用数据集或模型而产生侵权纠纷，华为不承担任何责任。
- 如您在使用本代码仓的过程中，发现任何问题（包括但不限于功能问题、合规问题），请在本代码仓提交issue，我们将及时审视并解答。

| 版本 | 更新时间 | 精度 | 处理器 | CANN版本 | 操作 |
| --- | --- | --- | --- | --- | ---|

暂无数据

使用模型资源和服务前，请您仔细阅读并理解透彻《昇腾深度学习模型许可协议 3.0》 [了解详情](https://www.hiascend.com/legal/modelzoo_models_license)