Aicore压测

测试项功能

对AICore ERROR进行压力测试，并输出诊断结果。

表1 诊断项说明
诊断项名称	使用Atlas A2 训练系列产品完成一轮诊断的参考耗时	是否影响NPU训练或推理	使用场景
aicore压测	15min~40min	是	训练或推理任务时，设备出现aicore error故障。
aicore诊断	7min~20min	是	训练或推理任务巡检、上线时，请执行3次aicore诊断，3轮全部通过表示aicore诊断正常。任意一轮回显为EMERGENCY_WARN即表示芯片故障，需更换硬件。

Aicore压测和Aicore诊断有不同的使用场景，具体请参见表1。请根据实际使用场景选择执行Aicore压测或Aicore诊断。
若想同时使用Aicore/片上内存(全量压测)/P2P压测请执行一键式组合诊断。

支持的场景

AICore ERROR（以下简称aicore）压测支持的设备及场景如表2所示。（在下表中，Y表示支持，N表示不支持。）

表2 支持的场景和产品型号
场景/产品型号	Atlas A2 训练系列产品	Atlas 800I A2 推理产品
物理机	Y	Y
宿主机+容器	Y	Y
虚拟机	Y	Y

使用约束

aicore压测会影响NPU训练或推理作业，为保证返回检测结果的正确性和准确性，请单独执行。
aicore压测完成后请检查环境aic和bus电压是否正常，若异常，请请进行问题分析和定位后，再执行ascend-dmi -r 命令恢复NPU环境。详细说明请参考NPU环境恢复。
如果aicore压测过程中发生掉卡（使用npu-smi info命令查询设备基本信息时，NPU不在位），需要下电重启设备，并在设备重启后进行NPU环境恢复。详细说明请参考NPU环境恢复。
aicore压测需要占用HOST服务器侧约20~40GB的内存，执行命令前请预留足够内存，防止进程异常中断。

测试前准备

执行aicore压测前，需已安装Atlas A2 训练系列产品配套的Ascend HDK 23.0.0及以后版本的MCU、驱动和固件。
aicore压测依赖CANN 7.0.0及以后版本的开发套件包Ascend-cann-toolkit和Atlas A2 训练系列产品配套的二进制算子包Ascend-cann-kernels，在执行压力测试前需参考环境配置安装所需的软件包，并配置环境变量。
在执行aicore压测前，建议提前在环境上安装fuser软件，以便Ascend DMI对NPU进程进行监测。

测试项参数查询

各参数解释如表3所示。

表3 参数说明
参数	说明	是否必填
[-dg, --dg, --diagnosis]	使用该参数进行整卡的故障诊断测试。	是
[-i, --items]	指定具体的诊断检查项： aicore：AICore ERROR压测。不传入此参数，则默认执行除aicore和prbs外其他检查项的诊断。	是
[-s, --stress]	使用该参数进行压力测试，当前支持指定的压力测试有以下几种：片上内存压测、Aicore压测、P2P压测、功耗压测。在包含Aicore检查项的场景下，支持与-sc参数一起使用，执行压测的次数以--sc指定的次数为准。	是
[-d, --device]	指定需要进行诊断测试的Device ID，Device ID是指昇腾芯片的逻辑ID。可指定一个或多个Device ID，多个时各项之间使用“,”分隔。若不填写Device ID则默认返回所有Device的诊断结果。	否
[-sc, --sc, --stress-count]	指定Aicore压测的次数。仅支持items指定aicore时，此参数才可使用；参数取值范围为[1, 100]。	否
[-r, --result]	指定故障诊断结果和信息采集结果的保存路径，如：/test。指定的路径需符合安全要求，且不支持包含通配符“”。若用户指定结果保存路径，则在指定路径创建ascend_check文件夹，root用户指定的路径，将创建在根目录下，非root用户则创建在其$HOME下；若不指定路径，则保存在默认路径下，root用户：“/var/log/ascend_check”，非root用户：“$HOME*/var/log/ascend_check”。基于安全考虑，为防止结果保存目录权限被修改，用户可将结果保存目录ascend_check的权限设置为700。当[-fmt, --fmt, --format]后检查项指定json格式输出时，会进行故障诊断结果保存，结果保存在“ascend_check/environment_check_before.txt”文件中，不指定json格式输出时，不保存故障诊断结果。	否
[-fmt, --fmt, --format]	指定输出格式，可以为normal或json。若未指定则默认为normal。	否
[-q, --quiet]	指定该参数，将不再进行防呆提示，用户将默认允许该操作。该参数必须与-i参数的bandwidth、aiflops、hbm、aicore、prbs、tdp、edp一起使用。若不指定该参数，用户需要输入Y或N（y或n）确认是否进行测试。	否
注：本文档输入或输出的Device ID都是芯片逻辑ID。用户可以执行npu-smi info -m命令，在显示界面表格中的Chip Logic ID参数处获得芯片逻辑ID，NPU ID则为对应的芯片物理ID。 ascend-dmi --dg后使用-i，-d等多个二级参数时，可任意指定这些参数的排列顺序，不影响命令结果输出。

使用实例

ascend-dmi -dg -i aicore -s -sc 60 -q

故障检查项说明

表4 故障检查项说明
回显状态	含义
PASS	压力测试结果无异常。
SKIP	执行压测的用户为非root用户。当前设备不支持aicore压测。
EMERGENCY_WARN	紧急警告，请更换硬件。
FAIL	Aicore压测失败，请联系华为工程师处理。

父主题： 故障诊断