昇腾社区首页
中文
注册
开发者
下载
支持
积分兑换 NEW

Profiling数据采集

功能介绍

训练过程中支持采集性能数据，然后借助Profiling工具进行数据分析，从而准确定位系统的软、硬件性能瓶颈，提高性能分析的效率，通过针对性的性能优化方法，以最小的代价和成本实现业务场景的极致性能。当前支持采集的性能数据主要包括：

  • training_trace：迭代轨迹数据，即训练任务及AI软件栈的软件信息，实现对训练任务的性能分析，重点关注数据增强、前后向计算、梯度聚合更新等相关数据。
  • task_trace：任务轨迹数据，即昇腾AI处理器HWTS/AICore的硬件信息，分析任务开始、结束等信息。
  • aicpu：采集aicpu数据增强的Profiling数据。

默认训练过程中不采集Profiling性能数据，如需采集，请参考本节内容修改训练脚本。

Estimator模式修改

  1. 检查迁移后的脚本是否存在“init_resource”。
    • 如果存在，则需要参考下面示例进行修改；修改完后，执行下一步。
    • 如果不存在，则直接执行下一步。
    if __name__ == '__main__':

  session_config = tf.ConfigProto()
  custom_op = session_config.graph_options.rewrite_options.custom_optimizers.add()
  custom_op.name = "NpuOptimizer"
  # 开启profiling采集
  custom_op.parameter_map["profiling_mode"].b = True
  # 仅采集任务轨迹数据
  custom_op.parameter_map["profiling_options"].s = tf.compat.as_bytes('{"output":"/home/HwHiAiUser/output","task_trace":"on"}')
  # 采集任务轨迹数据和迭代轨迹数据。可先仅采集任务轨迹数据，如果仍然无法分析到具体问题，可再采集迭代轨迹数据
  # custom_op.parameter_map["profiling_options"].s = tf.compat.as_bytes('{"output":"/home/HwHiAiUser/output","task_trace":"on","training_trace":"on","fp_point":"resnet_model/conv2d/Conv2Dresnet_model/batch_normalization/FusedBatchNormV3_Reduce","bp_point":"gradients/AddN_70"}')

  (npu_sess, npu_shutdown) = init_resource(config=session_config)
  tf.app.run()
  shutdown_resource(npu_sess, npu_shutdown)
  close_session(npu_sess)
    • profiling_mode：是否开启profiling采集。
    • output：profiling数据存放路径，该参数指定的目录需要在启动训练的环境上（容器或Host侧）提前创建且确保安装时配置的运行用户具有读写权限，支持配置绝对路径或相对路径
    • task_trace：是否采集任务轨迹数据
    • training_trace：是否采集迭代轨迹数据，此场景下同时需要配置fp_point和bp_point。
    • fp_point：指定训练网络迭代轨迹正向算子的开始位置，用于记录前向计算开始时间戳，fp_point和bp_point获取方法请参考如何获取fp_point与bp_point。
    • bp_point：指定训练网络迭代轨迹反向算子的结束位置，记录后向计算结束时间戳，fp_point和bp_point可以计算出正反向时间。
  2. 在迁移后的脚本中找到“npu_run_config_init”，例如：
    session_config = tf.ConfigProto(allow_soft_placement=True)

run_config = tf.estimator.RunConfig(
    train_distribute=distribution_strategy,
    session_config=session_config,
    save_checkpoints_secs=60*60*24)

classifier = tf.estimator.Estimator(
    model_fn=model_function, model_dir=flags_obj.model_dir, config=npu_run_config_init(run_config=run_config))
  3. 配置相关参数，开启Profiling采集：
    session_config = tf.ConfigProto(allow_soft_placement=True)
custom_op = session_config.graph_options.rewrite_options.custom_optimizers.add()
custom_op.name = 'NpuOptimizer'
# 开启profiling采集
custom_op.parameter_map["profiling_mode"].b = True
# 仅采集任务轨迹数据
custom_op.parameter_map["profiling_options"].s = tf.compat.as_bytes('{"output":"/home/HwHiAiUser/output","task_trace":"on"}')
# 采集任务轨迹数据和迭代轨迹数据。可先仅采集任务轨迹数据，如果仍然无法分析到具体问题，可再采集迭代轨迹数据
# custom_op.parameter_map["profiling_options"].s = tf.compat.as_bytes('{"output":"/home/HwHiAiUser/output","task_trace":"on","training_trace":"on","fp_point":"resnet_model/conv2d/Conv2Dresnet_model/batch_normalization/FusedBatchNormV3_Reduce","bp_point":"gradients/AddN_70"}')

run_config = tf.estimator.RunConfig(
    train_distribute=distribution_strategy,
    session_config=session_config,
    save_checkpoints_secs=60*60*24)

classifier = tf.estimator.Estimator(
    model_fn=model_function, model_dir=flags_obj.model_dir, config=npu_run_config_init(run_config=run_config))
  4. 如果脚本中的运行配置函数，例如RunConfig中没有传入session_config参数，需要自行传入session_config：
    session_config = tf.ConfigProto()
custom_op = session_config.graph_options.rewrite_options.custom_optimizers.add()
custom_op.name = 'NpuOptimizer'
# 使能相关配置
custom_op.parameter_map["xxx"].x = xxx

run_config = tf.estimator.RunConfig(
    train_distribute=distribution_strategy,
    session_config=session_config,
    save_checkpoints_secs=60*60*24)

classifier = tf.estimator.Estimator(
    model_fn=model_function, model_dir=flags_obj.model_dir, config=npu_run_config_init(run_config=run_config))

sess.run模式修改

  1. 检查迁移后的脚本是否存在“init_resource”。
    • 如果存在，则需要参考下面示例进行修改；修改完后，执行下一步。
    • 如果不存在，则直接执行下一步。
    if __name__ == '__main__':

  session_config = tf.ConfigProto()
  custom_op = session_config.graph_options.rewrite_options.custom_optimizers.add()
  custom_op.name = "NpuOptimizer"
  # 开启profiling采集
  custom_op.parameter_map["profiling_mode"].b = True
  # 仅采集任务轨迹数据
  custom_op.parameter_map["profiling_options"].s = tf.compat.as_bytes('{"output":"/home/HwHiAiUser/output","task_trace":"on"}')
  # 采集任务轨迹数据和迭代轨迹数据。可先仅采集任务轨迹数据，如果仍然无法分析到具体问题，可再采集迭代轨迹数据
  # custom_op.parameter_map["profiling_options"].s = tf.compat.as_bytes('{"output":"/home/HwHiAiUser/output","task_trace":"on","training_trace":"on","fp_point":"resnet_model/conv2d/Conv2Dresnet_model/batch_normalization/FusedBatchNormV3_Reduce","bp_point":"gradients/AddN_70"}')

  (npu_sess, npu_shutdown) = init_resource(config=session_config)
  tf.app.run()
  shutdown_resource(npu_sess, npu_shutdown)
  close_session(npu_sess)
    • profiling_mode：是否开启profiling采集。
    • output：profiling数据存放路径，该参数指定的目录需要在启动训练的环境上（容器或Host侧）提前创建且确保安装时配置的运行用户具有读写权限，支持配置绝对路径或相对路径
    • task_trace：是否采集任务轨迹数据
    • training_trace：是否采集迭代轨迹数据，此场景下同时需要配置fp_point和bp_point。
    • fp_point：指定训练网络迭代轨迹正向算子的开始位置，用于记录前向计算开始时间戳，fp_point和bp_point获取方法请参考如何获取fp_point与bp_point。
    • bp_point：指定训练网络迭代轨迹反向算子的结束位置，记录后向计算结束时间戳，fp_point和bp_point可以计算出正反向时间。
  2. 在脚本中找到“npu_config_proto”：
    with tf.Session(config=npu_config_proto()) as sess:
    sess.run(tf.global_variables_initializer())
    interaction_table.init.run()
  3. 配置相关参数，开启task_trace任务轨迹数据采集：
    config_proto = tf.ConfigProto()
custom_op = config_proto.graph_options.rewrite_options.custom_optimizers.add()
custom_op.name = 'NpuOptimizer'
# 开启profiling采集
custom_op.parameter_map["profiling_mode"].b = True
# 仅采集任务轨迹数据
custom_op.parameter_map["profiling_options"].s = tf.compat.as_bytes('{"output":"/home/HwHiAiUser/output","task_trace":"on"}')
# 采集任务轨迹数据和迭代轨迹数据。可先仅采集任务轨迹数据，如果仍然无法分析到具体问题，可再采集迭代轨迹数据
# custom_op.parameter_map["profiling_options"].s = tf.compat.as_bytes('{"output":"/home/HwHiAiUser/output","task_trace":"on","training_trace":"on","fp_point":"resnet_model/conv2d/Conv2Dresnet_model/batch_normalization/FusedBatchNormV3_Reduce","bp_point":"gradients/AddN_70"}')
config = npu_config_proto(config_proto=config_proto)
with tf.Session(config=config) as sess:
    sess.run(tf.global_variables_initializer())
    interaction_table.init.run()

tf.keras模式修改

  1. 检查迁移后的脚本是否存在“init_resource”。
    • 如果存在，则需要参考下面示例进行修改；修改完后，执行下一步。
    • 如果不存在，则直接执行下一步。
    if __name__ == '__main__':

  session_config = tf.ConfigProto()
  custom_op = session_config.graph_options.rewrite_options.custom_optimizers.add()
  custom_op.name = "NpuOptimizer"
  # 开启profiling采集
  custom_op.parameter_map["profiling_mode"].b = True
  # 仅采集任务轨迹数据
  custom_op.parameter_map["profiling_options"].s = tf.compat.as_bytes('{"output":"/home/HwHiAiUser/output","task_trace":"on"}')
  # 采集任务轨迹数据和迭代轨迹数据。可先仅采集任务轨迹数据，如果仍然无法分析到具体问题，可再采集迭代轨迹数据
  # custom_op.parameter_map["profiling_options"].s = tf.compat.as_bytes('{"output":"/home/HwHiAiUser/output","task_trace":"on","training_trace":"on","fp_point":"resnet_model/conv2d/Conv2Dresnet_model/batch_normalization/FusedBatchNormV3_Reduce","bp_point":"gradients/AddN_70"}')

  (npu_sess, npu_shutdown) = init_resource(config=session_config)
  tf.app.run()
  shutdown_resource(npu_sess, npu_shutdown)
  close_session(npu_sess)
    • profiling_mode：是否开启profiling采集。
    • output：profiling数据存放路径，该参数指定的目录需要在启动训练的环境上（容器或Host侧）提前创建且确保安装时配置的运行用户具有读写权限，支持配置绝对路径或相对路径
    • task_trace：是否采集任务轨迹数据
    • training_trace：是否采集迭代轨迹数据，此场景下同时需要配置fp_point和bp_point。
    • fp_point：指定训练网络迭代轨迹正向算子的开始位置，用于记录前向计算开始时间戳，fp_point和bp_point获取方法请参考如何获取fp_point与bp_point。
    • bp_point：指定训练网络迭代轨迹反向算子的结束位置，记录后向计算结束时间戳，fp_point和bp_point可以计算出正反向时间。
  2. 在脚本中找到“set_keras_session_npu_config”：
    import tensorflow as tf
import tensorflow.python.keras as keras
from tensorflow.python.keras import backend as K
from npu_bridge.npu_init import *

npu_keras_sess = set_keras_session_npu_config()

#数据预处理...
#模型搭建...
#模型编译...
#模型训练...
  3. 配置相关参数：
    import tensorflow as tf
import tensorflow.python.keras as keras
from tensorflow.python.keras import backend as K
from npu_bridge.npu_init import *

config_proto = tf.ConfigProto()
custom_op = config_proto.graph_options.rewrite_options.custom_optimizers.add()
custom_op.name = 'NpuOptimizer'
# 开启profiling采集
custom_op.parameter_map["profiling_mode"].b = True
# 仅采集任务轨迹数据
custom_op.parameter_map["profiling_options"].s = tf.compat.as_bytes('{"output":"/home/HwHiAiUser/output","task_trace":"on"}')
# 采集任务轨迹数据和迭代轨迹数据。可先仅采集任务轨迹数据，如果仍然无法分析到具体问题，可再采集迭代轨迹数据
# custom_op.parameter_map["profiling_options"].s = tf.compat.as_bytes('{"output":"/home/HwHiAiUser/output","task_trace":"on","training_trace":"on","fp_point":"resnet_model/conv2d/Conv2Dresnet_model/batch_normalization/FusedBatchNormV3_Reduce","bp_point":"gradients/AddN_70"}')
npu_keras_sess = set_keras_session_npu_config(config=config_proto)

#数据预处理...
#模型搭建...
#模型编译...
#模型训练...
父主题： 更多特性