量化了 Qwen1.5-7B-Chat 模型,在推理测试时报错如下,是否有参考的自查文档或能提供一些排查思路
量化模型的推理验证
bash examples/models/qwen/run_pa.sh -m /data/models/Qwen1.5-7B-Chat-w4a16/ -c true
浮点模型的推理验证
bash examples/models/qwen/run_pa.sh -m /data/models/Qwen1.5-7B-Chat/ -c true
模型文件对比
量化模型config.json
量化了 Qwen1.5-7B-Chat 模型,在推理测试时报错如下,是否有参考的自查文档或能提供一些排查思路
量化模型的推理验证
bash examples/models/qwen/run_pa.sh -m /data/models/Qwen1.5-7B-Chat-w4a16/ -c true
浮点模型的推理验证
bash examples/models/qwen/run_pa.sh -m /data/models/Qwen1.5-7B-Chat/ -c true
模型文件对比
量化模型config.json