昇腾社区首页
中文
注册

GPU/CPU数据dump

  1. 安装dump工具依赖。
    pip3 install gnureadline pexpect
  2. 修改训练脚本,插入dump配置。
    • session.run模式训练配置示例:
      import precision_tool.tf_config as npu_tf_config
      sess = npu_tf_config.sess_dump(sess=sess)
    • estimator模式训练配置示例:
      import precision_tool.tf_config as npu_tf_config
      estim_specs = tf.estimator.EstimatorSpec(training_hooks=[npu_tf_config.estimator_dump()])
    • session.run模式下,不支持dump配置和Rec SDK模型保存功能同时使用。
    • 多卡训练时,仅需在某一张卡的训练中增加dump配置,否则多卡同时保存会导致数据冲突。
  3. 执行训练。

    将训练最大步数修改为1后执行训练,会在“precision_data/tf/tf_debug/”目录生成dump数据。

  4. 解析dump数据。

    执行python3 precision_tool/cli.py tf_dump后,会在“precision_data/tf/dump/”目录生成解析好的dump数据。如果需要重新生成dump数据,将已生成的数据删除再重新执行训练和解析操作即可。