华为计算微信公众号
昇腾AI开发者公众号
华为计算微博
华为计算今日头条
系统Ubuntu22
硬件Aipro 8T
根据Gitee上看到的方法 https://gitee.com/wan-zutao/chatglm3-manual-reset 准备了Qwen的模型, https://huggingface.co/onnx-community/Qwen2.5-1.5B/tree/main/onnx 采用int8量化。
使用了命令:
atc --framework=5 --model="model_uint8.onnx" --output="Qwen2" --soc_version=Ascend310B4 --precision_mode=must_keep_origin_dtype --input_format=ND --input_shape="input_ids:1,1;position_ids:1,1;attention_mask:1,1025;past_key_values:28,2,1024,1,2,128"
获得报错如图:
我要发帖子
系统Ubuntu22
硬件Aipro 8T
根据Gitee上看到的方法
https://gitee.com/wan-zutao/chatglm3-manual-reset
准备了Qwen的模型,
https://huggingface.co/onnx-community/Qwen2.5-1.5B/tree/main/onnx
采用int8量化。
使用了命令:
获得报错如图:
