300I推理卡跑yolo7x模型推理时间太慢了
收藏回复举报
300I推理卡跑yolo7x模型推理时间太慢了
t('forum.solved') 已解决
新人帖
发表于2023-02-09 09:50:00
0 查看

环境:Atlas300I推理卡,驱动21.0.4

300I推理卡跑yolo7x模型推理时间51 ms/每张图,模型输入shape[1,3,416,768],1080*1920的原图输入,加上前后处理的时间就是77ms,有点太慢了,AIcore算力占用98%

模型转换:onnx -> om

atc命令:atc --input_shape="images:1,3,416,768" --check_report=./yolo7xnetwork_analysis.report --input_format=NCHW --output="./yolo7x" --soc_version=Ascend310 --insert_op_conf=./withaipp_768x416_YUV2BGR.cfg --framework=5 --model="yolo7x.onnx" --fusion_switch_file=./fusion_switch.cfg --log=info --out_nodes="Reshape_373:0;Reshape_403:0;Reshape_433:0" --output_type="Reshape_373:0:FP32;Reshape_403:0:FP32;Reshape_433:0:FP32"

不清楚atc默认转换的模型精度是FP16,还是FP32,说是默认转INT8精度,但是没看到转的过程中有模型效验这一步操作

添加 --input_fp16_nodes="images"这个参数报错,说是和--insert_op_conf参数冲突

目前想优化模型速度,不知道还有没有别的办法

本帖最后由 匿名用户2023/02/09 12:18:09 编辑

我要发帖子