AI CPU算子识别(Vector算子)

基本原理

模型存在大量算子在AI CPU上计算时,可能会影响性能,需要将在AI CPU上的算子切换至AI CORE运算。

使用场景

  1. 查看summary目录中op_statistic_x_1.csv(x为rank号,0/1/2…),分别统计AI CORE、AI CPU类算子的总耗时。

    op_statistic_x_1.csv文件为Ascend PyTorch Profiler采集输出的device_xx/summary目录中文件。

  2. 打开文件并按照Core Type筛选,可以过滤出AI_CPU算子。

    图1 op_statistic_xx.csv文件

  3. 若此类算子占比较高,需要考虑将这类算子切换到AI_CORE上,请联系华为工程师进行优化。

操作步骤

  1. 若此类算子占比较高,需要考虑将这类算子切换到AI_CORE上,请联系华为工程师进行优化。