推理性能问题
收藏回复举报
推理性能问题
t('forum.solved') 已解决
发表于2024-06-04 10:11:00
0 查看

一、CPU异常使用率

1、使用mindspore 2.2.12版本lite,进行推理 Transformer模型,CPU使用率约65%

2、使用mindspore 2.2.13版本lite,进行推理,与上述模型、输入均一致,CPU使用率约500%

二、AICore占用率未满,推理耗时增加

1、使用mindspore 2.2.12版本lite,结合gunicorn,进行http推理Transformer模型,单个请求,耗时约520毫秒,AICore占用约27%

2、使用mindspore 2.2.12版本lite,结合gunicorn,进行http推理Transformer模型,两个请求,耗时约720毫秒,AICore占用约52%

针对以上问题一,应该如果避免CPU异常使用率问题,且使用mindspore bug修复版

针对以上问题二,应该如何调用,才可在AICore未满(或到达临界点前),使推理耗时不增加

本帖最后由 匿名用户2024/06/07 16:21:57 编辑

我要发帖子