开发板型号:orange ai pro 20T
我在具体使用atc转换指令,转换为多batch模型,并用作推理时
推理代码是对单张图片循环检测,并输出每张图片的推理耗费的时间
模型转换前用的都是同一个.onnx,atc转换指令只有batch_size不同,发现两个模型在测试时出现,单batch模型对每张图片的推理时间甚至要小于多batch模型,多batch(16)aicore利用率为70左右,但是多batch下aicore的利用率明显提升(我比较了batch_size分别在4、8、16、32情况下的aicore的利用率)
在逛论坛时发现,发现有人提过类似的问题,其中一个没有具体的解答,另一个如下:

给的回复如下:
按照这个答复,我的理解是:经过atc转换的模型,在对输入的处理上按照输入的顺序处理,并不能同时处理多个数据。我的疑问是:atc的多batch的存在,是为了解决哪些问题?
开发板型号:orange ai pro 20T
我在具体使用atc转换指令,转换为多batch模型,并用作推理时
推理代码是对单张图片循环检测,并输出每张图片的推理耗费的时间
模型转换前用的都是同一个.onnx,atc转换指令只有batch_size不同,发现两个模型在测试时出现,单batch模型对每张图片的推理时间甚至要小于多batch模型,多batch(16)aicore利用率为70左右,但是多batch下aicore的利用率明显提升(我比较了batch_size分别在4、8、16、32情况下的aicore的利用率)
在逛论坛时发现,发现有人提过类似的问题,其中一个没有具体的解答,另一个如下:
给的回复如下:
按照这个答复,我的理解是:经过atc转换的模型,在对输入的处理上按照输入的顺序处理,并不能同时处理多个数据。我的疑问是:atc的多batch的存在,是为了解决哪些问题?