基本原理
模型存在大量算子在AI CPU上计算时,可能会影响性能,需要将在AI CPU上的算子切换至AI CORE运算。
使用场景
- 查看summary目录中op_statistic_x_1.csv(x为rank号,0/1/2…),分别统计AI CORE、AI CPU类算子的总耗时。
op_statistic_x_1.csv文件为Ascend PyTorch Profiler采集输出的device_xx/summary目录中文件。
- 打开文件并按照Core Type筛选,可以过滤出AI_CPU算子。
图1 op_statistic_xx.csv文件
- 若此类算子占比较高,需要考虑将这类算子切换到AI_CORE上,请联系华为工程师进行优化。
操作步骤
- 若此类算子占比较高,需要考虑将这类算子切换到AI_CORE上,请联系华为工程师进行优化。