华为计算微信公众号
昇腾AI开发者公众号
华为计算微博
华为计算今日头条
问题描述：qwen1.5-32b通过gptq量化int4的权重，起mindie服务时报错无法初始化模型
硬件：Atlas300I Duo 驱动固件：24.1.RC2
软件： CANN 8.0.RC2 MindIE 1.0.RC2
torch 2.1.0
torch_npu 2.1.0.post6
下图是mindservice.log
我要发帖子
点赞
收藏
回复
分享
举报
已解决 已解决
问题描述：qwen1.5-32b通过gptq量化int4的权重，起mindie服务时报错无法初始化模型
硬件：Atlas300I Duo
驱动固件：24.1.RC2
软件：
CANN 8.0.RC2
MindIE 1.0.RC2
torch 2.1.0
torch_npu 2.1.0.post6
下图是mindservice.log