我使用的镜像包是:swr.cn-south-1.myhuaweicloud.com/ascendhub/mindie:2.0.RC2-300I-Duo-py311-openeuler24.03-lts
按照官方教程:
DeepSeek-R1-Distill-Qwen-14B-模型库-ModelZoo-昇腾社区 经过Atlas 300I DUO稀疏量化 step1之后,生成的量化后的模型文件为:

按照教程的step2继续操作:
报错:ValueError: linear type not matched, please check `config.json` `quantize` parameter
发现config.json文件里没有quantize这个参数,我手动加上去了

这个报错解决后,又出现一个错误:FileNotFoundError: The file is expected to exist, but it does not. Please check the input path:/models/DeepSeek-w8a8s/quant_model_description_w8a8s.json
量化后的模型文件夹里确实没有quant_model_description_w8a8s.json,有quant_model_description.json,我就把这个文件改名了
mv quant_model_description.json quant_model_description_w8a8s.json
这个问题解决了,step2完成
最后跑了一下官方的对话测试代码:
torchrun --nproc_per_node 1 \
--master_port 20037 \
-m examples.run_pa \
--model_path /models/DeepSeek-R1-Distill-Qwen-7B-W8A8SC \
--max_output_length 20

哪位大佬可以帮忙解决一下
按照官方教程:DeepSeek-R1-Distill-Qwen-14B-模型库-ModelZoo-昇腾社区
经过Atlas 300I DUO稀疏量化 step1之后,生成的量化后的模型文件为:

按照教程的step2继续操作:

报错:ValueError: linear type not matched, please check `config.json` `quantize` parameter
发现config.json文件里没有quantize这个参数,我手动加上去了
这个报错解决后,又出现一个错误:FileNotFoundError: The file is expected to exist, but it does not. Please check the input path:/models/DeepSeek-w8a8s/quant_model_description_w8a8s.json
量化后的模型文件夹里确实没有quant_model_description_w8a8s.json,有quant_model_description.json,我就把这个文件改名了
mv quant_model_description.json quant_model_description_w8a8s.json
这个问题解决了,step2完成
最后跑了一下官方的对话测试代码:
torchrun --nproc_per_node 1 \
--master_port 20037 \
-m examples.run_pa \
--model_path /models/DeepSeek-R1-Distill-Qwen-7B-W8A8SC \
--max_output_length 20

哪位大佬可以帮忙解决一下