--- title: 手把手教你玩转DeepSeek-R1量化模型-官方技术文章-昇腾社区 description: 2024年2月4日，DeepSeek V3、R1模型快速已昇腾社区，献上开工大礼，包括DeepSeek-V3、R1、Janus-Pro以及基于DeepSeek-R1的6个蒸馏模型已全面适配昇腾开箱部署。为了更好提升推理性能，让企业使用DeepSeek模型服务更高效，昇腾提供了DeepSeek INT8量化模型，欢迎开发者从昇腾社区获取使用。 keywords: DeepSeek,手把手教你玩,量化模型,官方技术文章,昇腾社区,模型支持及设备选型,硬件要求,模型权重 url: https://www.hiascend.com/developer/techArticles/20250225-2?envFlag=1 section: (其他) --- # 手把手教你玩转DeepSeek-R1量化模型-官方技术文章-昇腾社区 URL: https://www.hiascend.com/developer/techArticles/20250225-2?envFlag=1 描述: 2024年2月4日，DeepSeek V3、R1模型快速已昇腾社区，献上开工大礼，包括DeepSeek-V3、R1、Janus-Pro以及基于DeepSeek-R1的6个蒸馏模型已全面适配昇腾开箱部署。为了更好提升推理性能，让企业使用DeepSeek模型服务更高效，昇腾提供了DeepSeek INT8量化模型，欢迎开发者从昇腾社区获取使用。 关键词: DeepSeek,手把手教你玩,量化模型,官方技术文章,昇腾社区,模型支持及设备选型,硬件要求,模型权重 官方技术文章 [了解详情](https://www.hiascend.com/zh/developer/techArticles) 手把手教你玩转DeepSeek-R1量化模型 手把手教你玩转DeepSeek-R1量化模型 DeepSeek 发表于: 2025/02/25 ## 模型支持及设备选型 | 模型名称 | Atlas 300V | Atlas 300I Duo | Atlas 800I A2 | | --- | --- | --- | ---| | DeepSeek V3 | - | - | √ | | DeepSeek R1 | - | - | √ | | DeepSeek Janus-Pro-1B/7B | √ | √ | √ | | DeepSeek R1-Distill-Llama-70B | - | - | √ | | DeepSeek R1-Distill-Llama-8B | √ | √ | √ | | DeepSeek R1-Distill-Qwen-32B | - | - | √ | | DeepSeek R1-Distill-Qwen-14B | √ | √ | √ | | DeepSeek R1-Distill-Qwen-7B | √ | √ | √ | | DeepSeek R1-Distill-Qwen-1.5B | √ | √ | √ | 下面以Deepseek-R1为例，演示在如何获取量化模型及部署使用。 ## 硬件要求 部署DeepSeek R1量化模型需要Atlas 800I A2（2*8*64GB）。本文以DeepSeek-R1为主进行介绍，DeepSeek-V3与R1的模型结构和参数量一致，部署方式与R1相同。 ## 模型权重 ### 1.1     权重下载 通过开源社区下载权重。 | Modelers | https://modelers.cn/models/State_Cloud/DeepSeek-R1-W8A8 | | --- | ---| ### 1.2     按需W8A8量化 （BF16 to INT8） 如已下载了BF16模型，可采用以下步骤进行模型量化 Step1：安装ModelSlim | git clonehttps://gitee.com/ascend/msit.gitcd msit/msmodelslimbash install.sh | | ---| Step2:运行量化命令 | cd msit/msmodelslim/example/DeepSeek/python3 quant_deepseek_w8a8.py \--model_path {浮点权重路径} \--save_path {W8A8量化权重路径} | | ---| ## 加载MindIE镜像 | 镜像链接 | https://www.hiascend.com/developer/ascendhub/detail/af85b724a7e5469ebd7ea13c3439d48f | | --- | ---| | 镜像版本 | 2.0.T3-800I-A2-py311-openeuler24.03-lts | ## 容器启动 容器启动命令： | container_name=$1  # 参数1：容器名称image_id=$2          # 参数2：镜像IDmodel_path=$3       # 参数3：权重路径docker run -itd --privileged --name=$container_name --net=host --shm-size=500g \--device=/dev/davinci0 \--device=/dev/davinci1 \--device=/dev/davinci2 \--device=/dev/davinci3 \--device=/dev/davinci4 \--device=/dev/davinci5 \--device=/dev/davinci6 \--device=/dev/davinci7 \--device=/dev/davinci_manager \--device=/dev/devmm_svm \--device=/dev/hisi_hdc \-v /usr/local/Ascend/driver:/usr/local/Ascend/driver \-v /usr/local/Ascend/add-ons/:/usr/local/Ascend/add-ons/ \-v /usr/local/sbin/:/usr/local/sbin/ \-v /var/log/npu/slog/:/var/log/npu/slog \-v /var/log/npu/profiling/:/var/log/npu/profiling \-v /var/log/npu/dump/:/var/log/npu/dump \-v /var/log/npu/:/usr/slog \-v /etc/hccn.conf:/etc/hccn.conf \-v $model_path:/model \$image_id /bin/bash | | ---| 进入容器： | docker exec -it 容器名称 /bin/bash | | ---| ## 纯模型测试 修改模型文件： 配置ranktable.json： | {"server_count": "...", # 总节点数# server_list中第一个server为主节点"server_list": [{"device": [{"device_id": "...", # 当前卡的本机编号，取值范围[0, 本机卡数)"device_ip": "...", # 当前卡的ip地址，可通过hccn_tool命令获取"rank_id": "..." # 当前卡的全局编号，取值范围[0, 总卡数)},...],"server_id": "...", # 当前节点的ip地址"container_ip": "..." # 容器ip地址（服务化部署时需要），若无特殊配置，则与server_id相同},...],"status": "completed","version": "1.0"} | | ---| 添加加环境变量： | cd /usr/local/Ascend/atb-models/tests/modeltest/source /usr/local/Ascend/mindie/set_env.shsource /usr/local/Ascend/ascend-toolkit/set_env.shsource /usr/local/Ascend/nnal/atb/set_env.shsource /usr/local/Ascend/atb-models/set_env.shexport ASCEND_RT_VISIBLE_DEVICES=0,1,2,3,4,5,6,7export ATB_LLM_BENCHMARK_ENABLE=1export ATB_LLM_ENABLE_AUTO_TRANSPOSE=0export MASTER_IP=主节点ip地址export HCCL_CONNECT_TIMEOUT=7200export HCCL_EXEC_TIMEOUT=0export OMP_NUM_THREADS=1# 性计算，使能AIVexport HCCL_DETERMINISTIC=falseexport HCCL_OP_EXPANSION_MODE="AIV"export PARALLEL_PARAMS=[dp,tp,moe_tp,moe_ep,pp,microbatch_size] #并行参数 | | ---| 性能测试： | bash run.sh pa_[数据类型] [数据集] ([Shots]) [Batch Size] [模型名] [模型权重路径] [ranktable文件路径] [总卡数] [节点数量] [rank_id起始值] $MASTER_IP $PARALLEL_PARAMS $PARALLEL_PARAMS | | ---| 例： | 主节点 | bash run.sh pa_fp16 performance [[256,256]] 64 1 deepseekv2  /Path/to/deepseek_r1_w8a8/ /Path/to/ranktable_2.json 16 2 0 $MASTER_IP $PARALLEL_PARAMS | | --- | ---| | 副节点 | bash run.sh pa_fp16 performance [[256,256]] 64 1 deepseekv2 /Path/to/deepseek_r1_w8a8/ /Path/to/ranktable_2.json 16 2 8 $MASTER_IP $PARALLEL_PARAMS | 精度测试： | bash run.sh pa_[数据类型] [数据集] ([Shots]) [Batch Size] [模型名] [模型权重路径] [ranktable文件路径] [总卡数] [节点数量] [rank_id起始值] $MASTER_IP $PARALLEL_PARAMS $PARALLEL_PARAMS | | ---| 例： | 主节点 | bash run.sh pa_fp16 full_CEval 5 8 deepseekv3 /Path/to/deepseek_r1_w8a8/ /Path/to/ranktable_2.json 16 2 0 $MASTER_IP $PARALLEL_PARAMS | | --- | ---| | 副节点 | bash run.sh pa_fp16 full_CEval 5 8 deepseekv2 /Path/to/deepseek_r1_w8a8/ /Path/to/ranktable_2.json 16 2 8 $MASTER_IP $PARALLEL_PARAMS | ## 服务化测试 配置服务化参数： | "httpsEnabled" : false,"multiNodesInferEnabled" : true, # 开启多机推理# 若不需要安全认证，则将以下两个参数设为false"interCommTLSEnabled" : false,"interNodeTLSEnabled" : false,"modelName" : "DeepseekV3" # 不影响服务化拉起"modelWeightPath" : "权重路径", | | ---| 拉起服务： | cd /usr/local/Ascend/mindie/latest/mindie-service/./bin/mindieservice_daemon | | ---| 客户端测试（Deepseek-R1请求样例）: | 请求 | curl -X POST -d '{"model":"DeepseekR1","messages": [{"role": "user","content": "\n介绍一下你自己"}],"stream": false}'http://XX.X.XX.XX:XXXX/v1/chat/completions | | --- | ---| | 结果 | | 更多DeepSeek模型获取链接及使用指导可参考昇腾社区： DeepSeek-R1https://www.hiascend.com/software/modelzoo/models/detail/68457b8a51324310aad9a0f55c3e56e3 [了解详情](https://www.hiascend.com/software/modelzoo/models/detail/68457b8a51324310aad9a0f55c3e56e3) DeepSeek-V3：https://www.hiascend.com/software/modelzoo/models/detail/678bdeb4e1a64c9dae51d353d84ddd15 [了解详情](https://www.hiascend.com/software/modelzoo/models/detail/678bdeb4e1a64c9dae51d353d84ddd15)DeepSeek-R1-Distill-Llama-70Bhttps://www.hiascend.com/software/modelzoo/models/detail/ee3f9897743a4341b43710f8d204733a [了解详情](https://www.hiascend.com/software/modelzoo/models/detail/ee3f9897743a4341b43710f8d204733a)DeepSeek-R1-Distill-Qwen-7Bhttps://www.hiascend.com/software/modelzoo/models/detail/11aa2a48479d4d229a9830b8e41fc011 [了解详情](https://www.hiascend.com/software/modelzoo/models/detail/11aa2a48479d4d229a9830b8e41fc011) 本页内容