一、CPU异常使用率
1、使用mindspore 2.2.12版本lite,进行推理 Transformer模型,CPU使用率约65%
2、使用mindspore 2.2.13版本lite,进行推理,与上述模型、输入均一致,CPU使用率约500%
二、AICore占用率未满,推理耗时增加
1、使用mindspore 2.2.12版本lite,结合gunicorn,进行http推理Transformer模型,单个请求,耗时约520毫秒,AICore占用约27%
2、使用mindspore 2.2.12版本lite,结合gunicorn,进行http推理Transformer模型,两个请求,耗时约720毫秒,AICore占用约52%
针对以上问题一,应该如果避免CPU异常使用率问题,且使用mindspore bug修复版
针对以上问题二,应该如何调用,才可在AICore未满(或到达临界点前),使推理耗时不增加
一、CPU异常使用率
1、使用mindspore 2.2.12版本lite,进行推理 Transformer模型,CPU使用率约65%
2、使用mindspore 2.2.13版本lite,进行推理,与上述模型、输入均一致,CPU使用率约500%
二、AICore占用率未满,推理耗时增加
1、使用mindspore 2.2.12版本lite,结合gunicorn,进行http推理Transformer模型,单个请求,耗时约520毫秒,AICore占用约27%
2、使用mindspore 2.2.12版本lite,结合gunicorn,进行http推理Transformer模型,两个请求,耗时约720毫秒,AICore占用约52%
针对以上问题一,应该如果避免CPU异常使用率问题,且使用mindspore bug修复版
针对以上问题二,应该如何调用,才可在AICore未满(或到达临界点前),使推理耗时不增加