性能问题定位流程

大模型训练的基本性能调优流程如下：

图1 基本性能调优流程

性能调优最重要的是先明确问题，再进行针对性优化。

1. 进行性能数据采集，可以使用Ascend PyTorch Profiler提供的接口进行数据采集和解析。
2. 使用MindStudio Insight可视化工具定界性能问题，定界结果通常分为计算、调度、通信三个方向。
3. 使用advisor工具辅助定位问题，advisor工具通过内置案例集，自动对性能数据进行分析，并输出性能调优建议。
4. 针对具体问题使用对应的调优手段进行调优，每次调优后重跑训练，采集性能数据，使用MindStudio Insight可视化工具查看调优手段是否生效。重复这个过程，直到解决性能问题。