华为计算微信公众号
昇腾AI开发者公众号
华为计算微博
华为计算今日头条
使用python mindx-sdk 进行多进程推理,每个进程单独加载模型,记录子进程的单帧推理时间,每个子进程推理参数一致。
发现单帧的推理时间几乎跟子进程数成正比,比如开一个子进程时,单帧推理时长约 36ms;开两个子进程,单帧推理时长约76ms;开3个子进程,单帧推理时长约110ms。是不是mindx-sdk框推理时会独占整个计算资源?有没有办法可以避免这种问题
我要发帖子
使用python mindx-sdk 进行多进程推理,每个进程单独加载模型,记录子进程的单帧推理时间,每个子进程推理参数一致。
发现单帧的推理时间几乎跟子进程数成正比,比如开一个子进程时,单帧推理时长约 36ms;开两个子进程,单帧推理时长约76ms;开3个子进程,单帧推理时长约110ms。是不是mindx-sdk框推理时会独占整个计算资源?有没有办法可以避免这种问题