Qwen模型转换失败
收藏回复举报
Qwen模型转换失败
t('forum.solved') 已解决
新人帖
发表于2024-11-20 21:51:48
0 查看

系统Ubuntu22

硬件Aipro 8T

根据Gitee上看到的方法
https://gitee.com/wan-zutao/chatglm3-manual-reset
准备了Qwen的模型,
https://huggingface.co/onnx-community/Qwen2.5-1.5B/tree/main/onnx
采用int8量化。

使用了命令:

atc --framework=5 --model="model_uint8.onnx" --output="Qwen2" --soc_version=Ascend310B4 --precision_mode=must_keep_origin_dtype --input_format=ND --input_shape="input_ids:1,1;position_ids:1,1;attention_mask:1,1025;past_key_values:28,2,1024,1,2,128"

获得报错如图:
cke_6189.png

cke_7383.png

我要发帖子