yolov5s多batch模型对每张图片的推理耗费的时间要大于单batch模型
收藏回复举报
yolov5s多batch模型对每张图片的推理耗费的时间要大于单batch模型
t('forum.solved') 已解决
发表于2025-04-07 19:21:53
0 查看

开发板型号:orange ai pro 20T 

我在具体使用atc转换指令,转换为多batch模型,并用作推理时

推理代码是对单张图片循环检测,并输出每张图片的推理耗费的时间

模型转换前用的都是同一个.onnx,atc转换指令只有batch_size不同,发现两个模型在测试时出现,单batch模型对每张图片的推理时间甚至要小于多batch模型,多batch(16)aicore利用率为70左右,但是多batch下aicore的利用率明显提升(我比较了batch_size分别在4、8、16、32情况下的aicore的利用率)

在逛论坛时发现,发现有人提过类似的问题,其中一个没有具体的解答,另一个如下:

1.png

给的回复如下:2.png

按照这个答复,我的理解是:经过atc转换的模型,在对输入的处理上按照输入的顺序处理,并不能同时处理多个数据。我的疑问是:atc的多batch的存在,是为了解决哪些问题?

本帖最后由 匿名用户2025/04/08 09:16:03 编辑

我要发帖子