性能调优流程

迁移到昇腾AI处理器进行训练的网络如果存在性能不达标的问题，可按照如下流程进行性能调优：

1. 当性能不达标时，优先推荐进行如下通用的性能提升操作。
   1. 使能自动混合精度训练模式。
   2. 替换GELU激活函数。
   3. 使用AOE工具进行子图、算子以及梯度切分策略的调优。

   详细操作请参见基本调优。

2. 再次执行模型训练，并评估训练性能是否达标。
   • 若性能达标 —> 调优结束。
   • 若性能不达标 —> 执行3。
3. 使用Profiling工具采集性能数据并分析。

   参考Profiling数据采集与分析进行性能数据的采集、解析导出与分析。

4. 根据识别的性能瓶颈参见进阶调优进行进一步的性能提升。
5. 再次执行模型训练，进行回归测试，评估训练性能是否达标。
   • 若性能达标 —> 调优结束。
   • 若性能不达标 —> 再次执行AOE自动调优。