bge_reranker_large模型ATC转换
收藏回复举报
bge_reranker_large模型ATC转换
t('forum.solved') 已解决
发表于2024-12-13 15:16:31
0 查看

ATC指令:

atc --model=/data1/Chinese-CLIP/onnx/bge_reranker_large.onnx --framework=5 --output=/data1/Chinese-CLIP/onnx/bge_reranker_large --dynamic_batch_size="1,2,4,8" --input_shape="input_ids:-1,512;attention_mask:-1,512" --soc_version=Ascend910PremiumA

onnx网络图:

ScreenShot_20241213151516.PNG

问题:

--dynamic_batch_size="1,2,4,8",档位只有8有效,档位1,2,4无效

我要发帖子