Aiflops诊断

测试项功能

对芯片进行算力诊断，并输出测试结果。

表1 诊断项说明

诊断项名称

使用Atlas A2 训练系列产品完成一轮诊断的参考耗时

使用Atlas 900 A3 SuperPoD 集群算力系统完成一轮诊断的参考耗时

是否影响NPU训练或推理

使用场景

aiflops

29s~40s

1min~3min

是

训练或推理任务业务上线。

支持的场景

aiflops诊断支持的设备及场景如表2所示。（在下表中，Y表示支持，N表示不支持。）

表2 支持的场景和产品型号

场景/产品型号

Atlas 训练系列产品

Atlas A2 训练系列产品

Atlas 200/300/500 推理产品

Atlas 推理系列产品

Atlas 200I/500 A2 推理产品

Atlas 800I A2 推理产品

Atlas A3 训练系列产品

物理机

Y

Y

Y

5

Y

Y

Y

宿主机+容器

Y

Y

2

5

N

Y

Y

虚拟机

1

N

3

4

N

N

N
  1. 仅Atlas 800 训练服务器（型号 9000）、Atlas 900 PoD（型号 9000）、Atlas 900T PoD Lite产品支持。
  2. 仅Atlas 200 AI加速模块（EP场景）、Atlas 300I 推理卡（型号 3000）、Atlas 300I 推理卡（型号 3010）、Atlas 500 Pro 智能边缘服务器（型号 3000）支持。
  3. 仅Atlas 300I 推理卡（型号 3000）、Atlas 300I 推理卡（型号 3010）、Atlas 500 Pro 智能边缘服务器（型号 3000）支持。
  4. 仅Atlas 300I Pro 推理卡、Atlas 300I Duo 推理卡、Atlas 300V Pro 视频解析卡、Atlas 300V 视频解析卡支持。
  5. 仅Atlas 300I Pro 推理卡、Atlas 300I Duo 推理卡、Atlas 300V Pro 视频解析卡、Atlas 300V 视频解析卡、Atlas 200I SoC A1 核心板支持。

使用约束

算力诊断会影响NPU训练或推理作业，为保证返回检测结果的正确性和准确性，请单独执行。

测试前准备

在执行aiflops诊断前，建议提前在环境上安装fuser软件，以便Ascend DMI对NPU进程进行监测。

测试项参数查询

各参数解释如表3所示。

表3 参数说明

参数

说明

是否必填

[-dg, --dg, --diagnosis]

使用该参数进行整卡的故障诊断测试。

是

[-i, --items]
指定具体的诊断检查项：
  • aiflops：算力。
  • 可指定driver、cann、device、network、bandwidth、aiflops、hbm、signalQuality中的一项或多项，多项时各项之间使用“,”分隔。
  • 不传入此参数，则默认执行除aicore和prbs外其他检查项的诊断。

否

[-d, --device]

指定需要进行诊断测试的Device ID，Device ID是指昇腾芯片的逻辑ID。

  • 当[-i, --items]后检查项包含device、network、bandwidth、aiflops、hbm时，可填写此参数。
  • 可指定一个或多个Device ID，多个时各项之间使用“,”分隔。
  • 若不填写Device ID则默认返回所有Device的诊断结果。

否

[-r, --result]

指定故障诊断结果和信息采集结果的保存路径，如：/test。指定的路径需符合安全要求，且不支持包含通配符“*”。

  • 若用户指定结果保存路径，则在指定路径创建ascend_check文件夹，root用户指定的路径，将创建在根目录下，非root用户则创建在其$HOME下；若不指定路径，则保存在默认路径下，root用户：“/var/log/ascend_check”，非root用户：“$HOME/var/log/ascend_check”。
  • 基于安全考虑，为防止结果保存目录权限被修改，用户可将结果保存目录ascend_check的权限设置为700。
  • 当[-fmt, --fmt, --format]后检查项指定json格式输出时，会进行故障诊断结果保存，结果保存在“ascend_check/environment_check_before.txt”文件中，不指定json格式输出时，不保存故障诊断结果。

否

[-fmt, --fmt, --format]

指定输出格式，可以为normal或json。若未指定则默认为normal。

否

[-q, --quiet]

指定该参数，将不再进行防呆提示，用户将默认允许该操作。

  • 该参数必须与-i参数的bandwidth、aiflops、hbm、aicore一起使用。
  • 若不指定该参数，在执行aiflops诊断时将进行防呆提示，用户需要输入Y或N（y或n）确认是否进行测试。

否

注：

  • 本文档输入或输出的Device ID都是芯片逻辑ID。
  • 用户可以执行npu-smi info -m命令，在显示界面表格中的Chip Logic ID参数处获得芯片逻辑ID，NPU ID则为对应的芯片物理ID。
  • ascend-dmi --dg后使用-i，-d等多个二级参数时，可任意指定这些参数的排列顺序，不影响命令结果输出。

使用实例

ascend-dmi -dg -i aiflops -q

故障检查项说明

表4 故障检查项说明

回显状态

含义

PASS

算力测试结果正常（大于参考值）。

FAIL
  • 算力测试失败。
  • 算力测试结果小于参考值。
父主题： 故障诊断