通过atb-models脚本,量化Qwen1.5模型,推理测试报错
收藏回复举报
通过atb-models脚本,量化Qwen1.5模型,推理测试报错
t('forum.solved') 已解决
发表于2024-08-21 10:02:27
0 查看

 量化了 Qwen1.5-7B-Chat 模型,在推理测试时报错如下,是否有参考的自查文档或能提供一些排查思路

量化模型的推理验证

bash examples/models/qwen/run_pa.sh -m /data/models/Qwen1.5-7B-Chat-w4a16/ -c true

cke_218.png

浮点模型的推理验证

bash examples/models/qwen/run_pa.sh -m /data/models/Qwen1.5-7B-Chat/ -c true

模型文件对比

量化模型config.json

我要发帖子