onnx模型无法调用npu推理
收藏回复举报
onnx模型无法调用npu推理
t('forum.solved') 已解决
新人帖
发表于2025-07-04 14:24:06
0 查看

问题:模型为生成的单batch,onnx模型(opset=11), 在英伟达卡测试正常,迁移到昇腾服务器时,无法正常调用npu(910A).

1. 版本信息如图:cke_4864.jpeg

2. 推理代码如图:cke_52859.png

在实际推理时,打印出来的device为 CPU-CANN;卡0,1均为相同结果

同时,显存占用情况:cke_21123.png

3 用atc工具将onnx转为om模型显示成功,转换命令: 

atc --model=one.onnx --framework=5 --output=oneb --input_shape="images:1,3,512,512"  --soc_version=Ascend910B

可是,在推理时会有相同的情况,显存占用同上图;

请教下如何改进,谢谢

我要发帖子