• 软硬件环境：

300I DUO

kylinV10.arrch64

mindie版本1.0RC2

• 问题描述

运行Qwen1.5-72B-Chat-GPTQ-Int4报错

File "/home/HwHiAiUser/package/atb models/atb llm/utils/weights .py", line 80

raise AssertionError(f"weiaht itensor namel does not exist"AssertionError: weight model,layers.0.self attn.g proj.weight doesnot exist

输出weights.py中Weights类的初始化时的routing属性，与模型文件“model.safetensors.index.json”一致，该weight层名称应为 model,layers.0.self attn.g proj.qweight

同时发现weights类初始化时的quatinize属性没有被正确设置为None。

已在本环境成功运行Qwen1.5-14B的FP16版本。

是因为该模型量化方式为W4A16而不是W8A16导致的吗？