在300I DUO卡部署deepseek-r1-14B的一些问题
收藏回复举报
在300I DUO卡部署deepseek-r1-14B的一些问题
t('forum.solved') 已解决
新人帖
发表于2025-07-25 17:22:26
0 查看
我使用的镜像包是:swr.cn-south-1.myhuaweicloud.com/ascendhub/mindie:2.0.RC2-300I-Duo-py311-openeuler24.03-lts
按照官方教程:DeepSeek-R1-Distill-Qwen-14B-模型库-ModelZoo-昇腾社区

经过Atlas 300I DUO稀疏量化 step1之后,生成的量化后的模型文件为:
cke_6453.png

按照教程的step2继续操作:
报错:ValueError: linear type not matched, please check `config.json` `quantize` parameter
发现config.json文件里没有quantize这个参数,我手动加上去了
cke_23681.png

这个报错解决后,又出现一个错误:FileNotFoundError: The file is expected to exist, but it does not. Please check the input path:/models/DeepSeek-w8a8s/quant_model_description_w8a8s.json
量化后的模型文件夹里确实没有quant_model_description_w8a8s.json,有quant_model_description.json,我就把这个文件改名了

mv quant_model_description.json quant_model_description_w8a8s.json
这个问题解决了,step2完成

最后跑了一下官方的对话测试代码:
torchrun --nproc_per_node 1 \ 

         --master_port 20037 \ 

         -m examples.run_pa \ 

         --model_path /models/DeepSeek-R1-Distill-Qwen-7B-W8A8SC \ 

         --max_output_length 20

cke_69361.png

哪位大佬可以帮忙解决一下

我要发帖子