昇腾310推理卡适配问题
收藏回复举报
昇腾310推理卡适配问题
t('forum.solved') 已解决
新人帖
发表于2023-12-11 10:28:59
0 查看
  • 模型转换流程:onnx > om
  • 问题点:

由于om模型只能在npu上运行,导致不能测试om模型在cpu上运行的速度,在本地上使用cpu进行paddleocr跑同样的图片。npu使用时间0.9s左右,cpu使用时间0.5s左右,npu,cpu推理精度均为float32。

模型情况--共两个模型:

第一个模型:

onnx大小:10M

转换后的om大小:9M

第二个模型:

onnx大小:2M

转换后的om大小:20M

显存占用情况:

最大占用的显存:177M

问题:请问一下这种推理时间和显存的占用是正常的吗?

我要发帖子