在300v上测试的,onnxtime-cann是通过onnx源码编译而来的,服务器上电脑cann版本为6.0,芯片型号300V。onnx执行引擎为CPUExecutionProvider推理耗时大概在50ms左右(实验了30次),然后其他保持不变,仅仅把onnx执行引擎为CANNExecutionProvider,推理耗时110ms左右。实现了反向加速!!!
请问一下有无小伙伴遇到类似的情况,有无可能的原因?有无小伙伴用onnxtime-cann实现了加速(比CPUExecutionProvider快)?
在300v上测试的,onnxtime-cann是通过onnx源码编译而来的,服务器上电脑cann版本为6.0,芯片型号300V。onnx执行引擎为CPUExecutionProvider推理耗时大概在50ms左右(实验了30次),然后其他保持不变,仅仅把onnx执行引擎为CANNExecutionProvider,推理耗时110ms左右。实现了反向加速!!!
请问一下有无小伙伴遇到类似的情况,有无可能的原因?有无小伙伴用onnxtime-cann实现了加速(比CPUExecutionProvider快)?