华为计算微信公众号
昇腾AI开发者公众号
华为计算微博
华为计算今日头条
问题1:量化完成后无论是w8a8还是w8a16都没有相应的模型config.json
问题2:在未量化前的config.json上加入了关键词"quantize":"w8a8"之后,使用atb_models的python examples/models/qwen2_vl/run_pa.py运行时,报错:
我要发帖子
问题1:量化完成后无论是w8a8还是w8a16都没有相应的模型config.json
问题2:在未量化前的config.json上加入了关键词"quantize":"w8a8"之后,使用atb_models的python examples/models/qwen2_vl/run_pa.py运行时,报错: