华为计算微信公众号
昇腾AI开发者公众号
华为计算微博
华为计算今日头条
1.使用awq进行量化的huggingface格式的模型,是否可以在300I DUO显卡上推理;
2.使用atb-models自带的脚本去做a8w8量化,量化后的模型使用双芯推理没有提速(使用run_pa.sh)做性能测试;
3.是否还有其他性能优化策略能提速
我要发帖子
1.使用awq进行量化的huggingface格式的模型,是否可以在300I DUO显卡上推理;
2.使用atb-models自带的脚本去做a8w8量化,量化后的模型使用双芯推理没有提速(使用run_pa.sh)做性能测试;
3.是否还有其他性能优化策略能提速