Atlas 800-3000服务器上Ascend310集群上对yolov7-e6e.pt 转化后的om模型进行推理,推理耗时过长??????????
收藏回复举报
Atlas 800-3000服务器上Ascend310集群上对yolov7-e6e.pt 转化后的om模型进行推理,推理耗时过长??????????
t('forum.solved') 已解决
新人帖
发表于2023-10-27 10:16:53
0 查看

Atlas 800-3000服务器上Ascend310集群上对yolov7-e6e.pt 转化后的om模型进行推理,图片大小1280*1280 对net.run([image_bytes])的推理时间进行计时,耗时170ms(这边只使用了一个板卡上的的device),而在TITAN RTX上耗时只有35ms,请问一下这个推理时间正常吗?另外有说法是4个device可以媲美nvidia T4,我这边有什么方法可以使用4个device 来推理一个模型吗?

我要发帖子