昇腾离线推理模型转换后,推理速度慢、帧率低,如何进行性能调优?
问题内容:
各位老师好,我将训练好的PyTorch模型通过ATC工具转换为昇腾适配的OM模型,部署在Atlas推理设备上做离线推理。部署完成后实测推理速度远低于官方参考指标,整体帧率偏低,单帧推理耗时较长,无法满足项目实时性需求。
我已完成基础优化,统一了模型输入尺寸、预处理算子归一化参数,关闭了无用后台进程、释放NPU空闲内存,但推理性能提升微乎其微。不清楚是ATC转换参数配置不当,还是推理部署脚本存在优化漏洞。想请教大家,OM模型离线推理的核心调优技巧有哪些?ATC工具转换时需要开启哪些专属优化参数?感谢分享实操经验!
问题内容:
各位老师好,我将训练好的PyTorch模型通过ATC工具转换为昇腾适配的OM模型,部署在Atlas推理设备上做离线推理。部署完成后实测推理速度远低于官方参考指标,整体帧率偏低,单帧推理耗时较长,无法满足项目实时性需求。
我已完成基础优化,统一了模型输入尺寸、预处理算子归一化参数,关闭了无用后台进程、释放NPU空闲内存,但推理性能提升微乎其微。不清楚是ATC转换参数配置不当,还是推理部署脚本存在优化漏洞。想请教大家,OM模型离线推理的核心调优技巧有哪些?ATC工具转换时需要开启哪些专属优化参数?感谢分享实操经验!