W8A8量化权重失败
收藏回复举报
W8A8量化权重失败
t('forum.solved') 已解决
新人帖
发表于2025-02-26 13:29:34
0 查看

根据msModelSlim gitee文档安装了CANN toolkit、pytorch、torch_npu插件、msModelSlim,并跟随运行前必检项修改文件内容,但在执行quant_deepseek_w8a8.py脚本时遇到如下问题:

​看起来是msModelSlim库的问题,但是不清楚是使用的版本有误还是其他原因。还有一个问题,npu-smi版本是否和我该用的CANN版本有关联?

文档地址:
https://gitee.com/ascend/msit/blob/br_noncom_MindStudio_8.0.0_POC_20251231/msmodelslim/README.md
https://gitee.com/ascend/msit/blob/br_noncom_MindStudio_8.0.0_POC_20251231/msmodelslim/example/DeepSeek/README.md
版本信息:

服务器:Atlas 800I A2 推理服务器

操作系统:openEuler 22.03

npu-smi:24.0 rc1

CANN:8.0.RC3

msModelSlim: br_noncom_MindStudio_8.0.0_POC_20251231

pytorch:2.4.0

torch_npu:2.4.0 post2

如需更多信息请告诉我,感谢帮助!

本帖最后由 匿名用户2025/02/26 14:30:25 编辑

我要发帖子