环境:Atlas300I推理卡,驱动21.0.4
300I推理卡跑yolo7x模型推理时间51 ms/每张图,模型输入shape[1,3,416,768],1080*1920的原图输入,加上前后处理的时间就是77ms,有点太慢了,AIcore算力占用98%
模型转换:onnx -> om
atc命令:atc --input_shape="images:1,3,416,768" --check_report=./yolo7xnetwork_analysis.report --input_format=NCHW --output="./yolo7x" --soc_version=Ascend310 --insert_op_conf=./withaipp_768x416_YUV2BGR.cfg --framework=5 --model="yolo7x.onnx" --fusion_switch_file=./fusion_switch.cfg --log=info --out_nodes="Reshape_373:0;Reshape_403:0;Reshape_433:0" --output_type="Reshape_373:0:FP32;Reshape_403:0:FP32;Reshape_433:0:FP32"
不清楚atc默认转换的模型精度是FP16,还是FP32,说是默认转INT8精度,但是没看到转的过程中有模型效验这一步操作
添加 --input_fp16_nodes="images"这个参数报错,说是和--insert_op_conf参数冲突
目前想优化模型速度,不知道还有没有别的办法
环境:Atlas300I推理卡,驱动21.0.4
300I推理卡跑yolo7x模型推理时间51 ms/每张图,模型输入shape[1,3,416,768],1080*1920的原图输入,加上前后处理的时间就是77ms,有点太慢了,AIcore算力占用98%
模型转换:onnx -> om
atc命令:atc --input_shape="images:1,3,416,768" --check_report=./yolo7xnetwork_analysis.report --input_format=NCHW --output="./yolo7x" --soc_version=Ascend310 --insert_op_conf=./withaipp_768x416_YUV2BGR.cfg --framework=5 --model="yolo7x.onnx" --fusion_switch_file=./fusion_switch.cfg --log=info --out_nodes="Reshape_373:0;Reshape_403:0;Reshape_433:0" --output_type="Reshape_373:0:FP32;Reshape_403:0:FP32;Reshape_433:0:FP32"
不清楚atc默认转换的模型精度是FP16,还是FP32,说是默认转INT8精度,但是没看到转的过程中有模型效验这一步操作
添加 --input_fp16_nodes="images"这个参数报错,说是和--insert_op_conf参数冲突
目前想优化模型速度,不知道还有没有别的办法