使用msmodelslim量化Qwen2-vl为W8A8和W8A16出现问题
收藏回复举报
使用msmodelslim量化Qwen2-vl为W8A8和W8A16出现问题
t('forum.solved') 已解决
发表于2025-02-28 14:41:25
0 查看

问题1:量化完成后无论是w8a8还是w8a16都没有相应的模型config.json

cke_1703.png

问题2:在未量化前的config.json上加入了关键词"quantize":"w8a8"之后,使用atb_models的python examples/models/qwen2_vl/run_pa.py运行时,报错:

cke_10675.png

我要发帖子