故障诊断

测试项功能

故障诊断会获取芯片健康信息，同时对芯片进行算力、功耗、带宽等测试并输出测试结果，用以判断当前产品的健康状态。

使用约束

执行AICore ERROR诊断前，需已安装Atlas A2 训练系列产品配套的Ascend HDK 23.0.0及以后版本的MCU、驱动和固件。
AICore ERROR诊断依赖CANN 7.0.0及以后版本的开发套件包Ascend-cann-toolkit和Atlas A2 训练系列产品配套的二进制算子包Ascend-cann-kernels，在执行诊断前需参考环境要求安装所需的软件包，并配置环境变量。
片上内存压测、AICore ERROR诊断、带宽诊断、算力诊断会影响NPU训练或推理作业，为保证返回检测结果的正确性和准确性，请单独执行以上操作。
进行AICore ERROR诊断时，用户请勿在诊断结果未返回时重复诊断，需在任务执行完成后进行其他测试项。
AICore ERROR诊断完成后请重启设备。
在执行network诊断前，需在Host侧以root用户配置RoCE网卡IP地址和子网掩码，然后配置用于网络检测对象IP地址，否则可能导致诊断失败。

测试项参数查询

用户可任选以下指令之一查看故障诊断命令的可用参数。

ascend-dmi --dg -h

ascend-dmi --dg --help

各参数解释如表1所示。

表1 参数说明
参数	说明	是否必填
[-dg, --dg, --diagnosis]	使用该参数进行整卡的故障诊断测试。支持-dg，但建议使用--dg或--diagnosis。若用户安装cann软件包时未使用默认路径，则需使用[-p, --path]参数指定安装路径。	是
[-i, --items]	指定具体的诊断检查项，包括：软件类： cann：CANN各层软件的兼容性，CANN与驱动的兼容性。硬件类： driver：驱动健康诊断。 device：设备健康诊断。 network：网络健康诊断。 bandwidth：本地带宽，包含Host to Device、Device to Host、Device to Device、Peer to Peer四个方向。 aiflops：算力。片上内存：高带宽内存诊断，仅支持Atlas 训练系列产品、Atlas A2 训练系列产品和Atlas 800I A2 推理服务器。 aicore：AICore ERROR诊断。当前支持Atlas A2 训练系列产品和Atlas 800I A2 推理服务器root用户在物理机场景下使用；不支持虚拟机场景下使用；容器场景需要开启特权，不建议用户使用特权容器。不支持和其他诊断项同时进行测试。 signalQuality：信号质量诊断，支持对Atlas A2 训练系列产品（不包含训练卡）和Atlas 800I A2 推理服务器进行PCIe、HCCS和RoCE的信号质量诊断。可指定driver、cann、device、network、bandwidth、aiflops、hbm、signalQuality中的一项或多项，多项时各项之间使用“,”分隔，检查项回显状态请参照表2。	否
[-d, --device]	指定需要进行诊断测试的Device ID，Device ID是指昇腾芯片的逻辑ID。使用“-d”参数时，若是训练芯片和Atlas 300I Duo 推理卡指定2个及以上的device会进行p2p带宽的检查，指定1个device不会进行p2p带宽的校验。除此之外，其他场景下默认不进行P2P的带宽校验。当[-i, --items]后检查项包含device、network、bandwidth、aiflops、hbm时，必会校验此参数。可指定一个或多个Device ID，多个时各项之间使用“,”分隔。若不填写Device ID则默认返回所有Device的诊断结果。当[-i, --items]后检查项仅包含cann或driver时，用户无需填写此参数。针对Atlas A2 训练系列产品，当进行片上内存压力测试或AICore诊断时，支持使用[-d, --device]参数指定昇腾NPU芯片的ID，不指定时测试全量的昇腾NPU芯片。当[-i, --items]后检查项包括signalQuality时，若用户只指定一个Device ID则不会诊断HCCS的信号质量。若对Atlas 200T A2 Box16 异构子框进行诊断，需要指定至少2个Device ID，且该Device ID要么都为前8个NPU或者都为后8个NPU。	否
[-p, --path]	指定为CANN的安装路径。指定路径需符合安全要求，且不支持包含通配符“*”。当[-i, --items]后检查项包含cann时，则必会校验此参数。若用户安装软件包时未使用默认安装路径，则此参数必填，指定为实际安装路径。说明：若不填写，且为root用户安装软件包时，则取值为默认路径“/usr/local/Ascend”。当[-i, --items]后检查项不包含cann时，用户请勿填写此参数。	否
[-r, --result]	指定故障诊断结果和信息采集结果的保存路径，如：/test。指定的路径需符合安全要求，且不支持包含通配符“”。当进入故障诊断模块，则必会校验此参数。若用户指定结果保存路径，则在指定路径创建ascend_check文件夹，root用户指定的路径，将创建在根目录下，非root用户则创建在其$HOME下；若不指定路径，则保存在默认路径下，root用户：“/var/log/ascend_check”，非root用户：“$HOME*/var/log/ascend_check”。当[-i, --items]后检查项包含network时，会进行信息采集，结果保存在“ascend_check/npu_network_information.txt”文件中，不包含network检查项时，不进行信息采集。当[-fmt, --fmt, --format]后检查项指定json格式输出时，会进行故障诊断结果保存，结果保存在“ascend_check/environment_check_before.txt”文件中，不指定json格式输出时，不保存故障诊断结果。	否
[-s, --stress]	使用该参数进行高带宽内存压力测试。片上内存诊断或压测的使用场景如下：设备出现片上内存故障，请参考图1 片上内存诊断执行片上内存诊断或压测。完成1次片上内存压测预计耗时1-3h。当前仅支持Atlas A2 训练系列产品。	否
[-st, --stress-time]	指定片上内存压力测试的时间，取值范围是[60，604800]，单位为秒。不指定该参数时，跑完一轮片上内存压力测试预计花费1~3个小时。需要在包含片上内存诊断检查项的场景下，与[-s, --stress]配合使用。当前仅支持Atlas A2 训练系列产品。	否
不填写-i，-d，-p与-r参数	返回所有Device的除aicore外其他检查项的诊断结果。需注意，-i参数未单独指定aicore时，不会进行AICore ERROR诊断。	否
[-fmt, --fmt, --format]	指定输出格式，可以为normal或json。若未指定则默认为normal。	否
[-q, --quiet]	指定该参数跳过交互式信息，则高危操作执行将不再提示，用户将默认允许高危操作。该参数必须与-i参数的bandwidth、aiflops、hbm、aicore一起使用；且使用hbm时还需要同时指定-s参数进行片上内存压力测试。说明：若不指定该参数，在使用bandwidth、aiflops、hbm和aicore测试时将进行高危操作提示，用户需要输入Y或N（y或n）确认是否进行测试。	否
注本文档输入或输出的Device ID都是芯片逻辑ID。用户可以执行npu-smi info -m命令，在显示界面表格中的Chip Logic ID参数处获得芯片逻辑ID，NPU ID则为对应的芯片物理ID。

ascend-dmi --dg后使用-i，-d等多个二级参数时，可任意指定这些参数的排列顺序，不影响命令结果输出。例如：ascend-dmi --dg -i driver,cann,device -d 0,1 -p /usr/local/Ascend -r /var/log和ascend-dmi --dg -d 0,1 -i driver,cann,device -p /usr/local/Ascend -r /var/log输出结果相同。
如果ascend-dmi --dg诊断结果提示“hccn_tool no certificate found”，可参考预置或替换证书套件配置证书。
基于安全考虑，为防止结果保存目录权限被修改，用户可将结果保存目录ascend_check的权限设置为700。

使用实例

使用实例中命令的回显在推理服务器与训练服务器类似，截图取自训练服务器。

以指定诊断测试项、Device ID和软件包安装路径为例。
ascend-dmi --dg -i driver,cann,device -d 0,1 -p /usr/local/Ascend
使用片上内存故障诊断时，可以按照图1 片上内存诊断所示，先进行片上内存故障诊断（ascend-dmi -dg -i hbm），若结果为IMPORTANT_WARN，需要先重启设备，再执行高带宽内存压测（ascend-dmi -dg -i hbm -s）；其他结果请按流程图说明进行操作。
图1 片上内存诊断
在图1中，执行片上内存故障诊断，诊断结果请查看表2。

执行片上内存压测完成后，压测结果分为2种：
- FAIL：压测结果显示为FAIL，表示片上内存压测失败。
- PASS：压测结果显示为PASS，表示片上内存压测通过。
- 以指定高带宽内存诊断（片上内存），且进行片上内存压力测试为例，不跳过交互式高危操作提示信息。
  ascend-dmi -dg -i hbm -s -st 60
- 以指定高带宽内存诊断（片上内存），且进行片上内存压力测试为例，跳过交互式高危操作提示信息。
  ascend-dmi -dg -i hbm -s -st 60 -q

故障检查项说明

表2 故障检查项说明
类型	检查项	回显状态	含义
硬件类	driver	HEALTH	驱动固件安装正常，并且驱动状态为健康
		FAIL	驱动或固件安装异常读取驱动健康状态失败
		GENERAL_WARN	一般警告（警告内容参考界面中提示的错误信息）
		IMPORTANT_WARN	重要警告（警告内容参考界面中提示的错误信息）
		EMERGENCY_WARN	紧急警告（警告内容参考界面中提示的错误信息）
	device	SKIP	当前产品形态不支持该项检测
		HEALTH	device检测结果健康
		FAIL	device检测结果失败
		GENERAL_WARN	一般警告（警告内容参考界面中提示的错误信息）
		IMPORTANT_WARN	重要警告（警告内容参考界面中提示的错误信息）
		EMERGENCY_WARN	紧急警告（警告内容参考界面中提示的错误信息）
	network	SKIP	当前产品形态不支持该项检测
		FAIL	网络检测结果失败
		WARN	网络检测结果告警
		PASS	网络检测结果健康
		INFO	网络检测结果提示
	aiflops	FAIL	算力测试失败算力测试结果小于参考值中的参考值
	aiflops	PASS	算力测试结果正常（大于参考值中的参考值）
	bandwidth	FAIL	带宽测试失败带宽测试结果小于参考值中的参考值处理方案：请联系华为工程师处理或参考FAQ进行定位
	bandwidth	PASS	带宽测试结果正常（大于参考值中的参考值）
	片上内存	PASS	片上内存检测通过，无异常。
		FAIL	片上内存检测功能失败，请联系华为工程师处理。
		SKIP	当前硬件形态不支持片上内存检测。
		GENERAL_WARN	历史多比特存在隔离页，告警NPU芯片健康管理故障码为0x80E18401，可以继续使用。
		IMPORTANT_WARN	当前实时隔离页数与已隔离页数存在差异，建议进行重启，复位npu芯片。
		EMERGENCY_WARN	历史多比特隔离页数及设备隔离行过多，告警NPU芯片健康管理故障码为0x80E18402，建议更换备件。相同Stack及PC内的隔离行处于不同Bank的数量 ≥ 4，当前设备运行存在高风险，建议更换备件。相同Stack、相同Sid及不同PC内的隔离行 ≥ 4，当前设备运行存在高风险，建议更换备件。相同Stack、Sid、PC及Bank内的隔离行＞16，当前设备运行存在高风险，建议更换备件。相同Stack、Sid、PC及Bank内，排除4bit及以内相邻的错误地址，其他不同地址的数量＞ 5，当前设备运行存在高风险，建议更换备件。
	aicore	FAIL	诊断过程出现问题，请联系华为工程师处理。
		PASS	诊断结果无异常。
		SKIP	执行诊断的用户为非root用户。当前设备不是Atlas A2 训练系列产品。
		GENERAL_WARN	一般警告，请联系华为技术支持处理。
		EMERGENCY_WARN	诊断结果为不通过，建议更换硬件。
	signalQuality	FAIL	检测失败，PCIe、HCCS和RoCE（其中的一项或多项）链接有异常。
	signalQuality	PASS	检测通过，NPU上PCIe、HCCS和RoCE通信端口的信号质量正常。
软件类	cann	FAIL	nnae、nnrt、toolkit均安装异常驱动安装异常（cann和驱动间的兼容性不满足要求）
软件类	cann	PASS	cann软件检测正常

父主题： ascend-dmi工具