qwen2-1.5b-instruct模型量化
收藏回复举报
qwen2-1.5b-instruct模型量化
t('forum.solved') 已解决
新人帖
发表于2024-09-20 16:44:08
0 查看

1.使用awq进行量化的huggingface格式的模型,是否可以在300I DUO显卡上推理;

2.使用atb-models自带的脚本去做a8w8量化,量化后的模型使用双芯推理没有提速(使用run_pa.sh)做性能测试;

3.是否还有其他性能优化策略能提速

我要发帖子