昇腾社区首页
中文
注册

接口说明

概述

Ascend模型精度预检工具能在昇腾NPU上扫描用户训练模型中所有API,输出精度情况的诊断和分析。工具会提取模型中所有的API前反向信息,构造相应的API单元测试,将NPU输出与标杆比对,从而检测出精度有问题的API。

精度预检工具支持随机生成模式和真实数据模式,即在预检dump时可以选择由工具构造随机数进行输入获得dump数据或选择获取真实输入数据进行预检dump操作。随机生成模式执行效率高,可以快速获得结果,但数据精度低,只能大致判断精度问题。真实数据模式执行效率略低于随机生成模式,但是数据精度高,可以准确判断精度问题。

接口原型

msCheckerConfig.update_config(dump_path="my/dump/path", real_data=True)
表1 参数说明

参数名

说明

是否必选

dump_path

设置dump数据目录路径,默认路径为当前目录,参数示例:"./dump_path"。dump_path的父目录须为已存在目录。

采集API信息后目录下包含文件,pid为进程号:

  • forward_info_{pid}.json:前向API信息文件。
  • backward_info_{pid}.json:反向API信息文件。
  • stack_info_{pid}.json:调用栈信息文件。

real_data

真实数据模式开关,默认值为False,开启后dump信息增加forward_real_data和backward_real_data目录,目录下保存每个API输入的具体数值。

启用真实数据模式目前仅支持单卡,且会存盘较多数据,可能对磁盘空间有较大冲击。

enable_dataloader

自动控制开关,配置为True后自动识别dump target_iter参数指定的迭代数据,并在该迭代执行完成后退出训练,默认值为True。

target_iter

指定dump某个step的数据,仅支持dump1个step,须指定为训练脚本中存在的step,默认值为1。