华为计算微信公众号
昇腾AI开发者公众号
华为计算微博
华为计算今日头条
由于om模型只能在npu上运行,导致不能测试om模型在cpu上运行的速度,在本地上使用cpu进行paddleocr跑同样的图片。npu使用时间0.9s左右,cpu使用时间0.5s左右,npu,cpu推理精度均为float32。
模型情况--共两个模型:
第一个模型:
onnx大小:10M
转换后的om大小:9M
第二个模型:
onnx大小:2M
转换后的om大小:20M
显存占用情况:
最大占用的显存:177M
问题:请问一下这种推理时间和显存的占用是正常的吗?
我要发帖子
由于om模型只能在npu上运行,导致不能测试om模型在cpu上运行的速度,在本地上使用cpu进行paddleocr跑同样的图片。npu使用时间0.9s左右,cpu使用时间0.5s左右,npu,cpu推理精度均为float32。
模型情况--共两个模型:
第一个模型:
onnx大小:10M
转换后的om大小:9M
第二个模型:
onnx大小:2M
转换后的om大小:20M
显存占用情况:
最大占用的显存:177M
问题:请问一下这种推理时间和显存的占用是正常的吗?