Profiler构造函数

产品支持情况

产品

是否支持

Atlas A3 训练系列产品/Atlas A3 推理系列产品

√

Atlas A2 训练系列产品

√

Atlas 800I A2 推理产品/A200I A2 Box 异构组件

x

Atlas 200I/500 A2 推理产品

x

Atlas 推理系列产品

√

Atlas 训练系列产品

√

Atlas 200/300/500 推理产品

x

针对Atlas A3 推理系列产品，仅支持在线推理特性。

针对Atlas 推理系列产品，仅支持在线推理特性。

功能说明

Profiler类的构造函数，用于局部打开Profiling功能，例如仅采集TensorFlow网络中局部子图的性能数据，或采集指定step的性能数据。

函数原型

1
2
3
4
5
6
7
def __init__(
        self,
        *,
        level: str = "L0",
        aic_metrics: str = "",
        output_path: str = ""
    )

参数说明

参数名

输入/输出

描述

level

输入
开启Profiler的级别，用于控制采集性能数据的范围。
  • L0：主要采集任务调度耗时信息（task_time）和acl接口执行相关的性能数据。
  • L1：在L0的采集数据基础上，额外采集集合通信算子性能数据和AI Core算子性能数据。
  • L2：在L1的采集数据基础上，额外采集Runtime组件执行相关的性能数据和AI CPU算子性能数据。

默认值：L0。

aic_metrics

输入

当level配置为“L1”或“L2”时，可通过此参数采集AI Core和AI Vector Core硬件相关的性能指标，包含如下取值：

  • ArithmeticUtilization：cube及vector类型指令耗时和占比。
  • PipeUtilization：计算单元和搬运单元耗时占比。
  • Memory：内存读写带宽速率。
  • MemoryL0：L0读写带宽速率。
  • MemoryUB：UB读写带宽速率。
  • ResourceConflictRatio：流水线队列类指令占比。
  • L2Cache：读写cache命中次数和缺失后重新分配次数。

关于每一种取值包含的详细采集项及其含义可参见《性能调优工具用户指南》中的“性能数据文件参考 > op_summary（算子详细信息）”章节。

默认值为“PipeUtilization”。

output_path

输入
Profiling采集结果文件保存路径。该参数指定的目录需要在启动训练的环境上（容器或Host侧）提前创建且运行用户具有读写权限，支持配置为绝对路径或相对路径（相对执行命令行时的当前路径）。路径中不能包含特殊字符："\n"、"\f"、"\r"、"\b"、"\t"、"\v"、"\u007F"。
  • 绝对路径配置以“/”开头，例如：/home/HwHiAiUser/output。
  • 相对路径配置直接以目录名开始，例如：output。
  • 该参数优先级高于环境变量ASCEND_WORK_PATH，关于ASCEND_WORK_PATH的详细说明，可参见《环境变量参考》中的“安装配置相关 > 落盘文件配置”章节。

默认值为空。此参数配置为空时，采集结果文件保存在当前目录下。

返回值

无

约束说明

调用示例

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
import tensorflow as tf
from npu_bridge.npu_init import *

......
a = tf.placeholder(tf.int32, (None,None))
b = tf.constant([[1,2],[2,3]], dtype=tf.int32, shape=(2,2))
add = tf.add(a, b)

with tf.Session(config=session_config, graph=g) as sess:
  with profiler.Profiler(level="L1", aic_metrics=str("ArithmeticUtilization"), output_path = "./"):
    result=sess.run(add, feed_dict={a: [[-20, 2],[1,3]],c: [[1],[-21]]})
父主题： npu_bridge.profiler.profiler