性能调优流程
迁移到昇腾AI处理器进行训练的网络如果存在性能不达标的问题,可按照如下流程进行性能调优:
图1 性能调优流程
- 当性能不达标时,优先推荐进行如下通用的性能提升操作。
- 使能自动混合精度训练模式。
- 检查亲和接口是否替换。
- 使能训练迭代循环下沉。
- 使用AOE工具进行子图、算子以及梯度切分策略的调优。
详细操作请参见基本调优。
- 再次执行模型训练,并评估训练性能是否达标。
- 若性能达标 —> 调优结束。
- 若性能不达标 —> 执行3。
- 使用Profiling工具采集性能数据并分析。
参考Profiling数据采集与分析进行性能数据的采集、解析导出与分析。
- 根据识别的性能瓶颈参见进阶调优进行进一步的性能提升。
- 再次执行模型训练,进行回归测试,评估训练性能是否达标。
- 若性能达标 —> 调优结束。
- 若性能不达标 —> 再次执行AOE自动调优。
父主题: 性能调优