华为计算微信公众号
昇腾AI开发者公众号
华为计算微博
华为计算今日头条
from awq import AutoAWQForCausalLM model = AutoAWQForCausalLM.from_quantized("TheBloke/DeepSeek-Coder-7B-Instruct-AWQ")
本帖最后由 匿名用户 于 2025/12/22 09:11:57 编辑
我要发帖子
点赞
收藏
回复
分享
举报
已解决 已解决
加载 AWQ 量化模型时报 AttributeError: AwqConfig object has no attribute modules_to_not_convert
from awq import AutoAWQForCausalLM model = AutoAWQForCausalLM.from_quantized("TheBloke/DeepSeek-Coder-7B-Instruct-AWQ")