概述 在传统模型的全流程调优中,精度与性能的协同优化是核心目标。 精度优化聚焦于模型的准确性和稳定性。大多数精度问题是由算子精度问题造成的,在模型调优过程中,需要找到出现精度问题的算子,而产生算子精度问题的原因有很多,主要包括精度溢出、算子实现差异、融合规则不合理、硬件差异等,需要根据问题现象具体分析。 性能优化聚焦于计算效率与资源适配。单机场景下推理性能问题主要会集中在调度和计算两个方面,可基于msprof工具和MindStudio Insight可视化工具定界问题分类,基于问题分类再分析具体的数据,进而不断调整模型实现,或优化系统资源调度,以此达到理想的推理性能。