测试项功能
对AICore ERROR进行压力测试，并输出诊断结果。
表1 诊断项说明诊断项名称
|
使用Atlas A2 训练系列产品完成一轮诊断的参考耗时
|
使用Atlas 900 A3 SuperPoD 集群算力系统完成一轮诊断的参考耗时
|
是否影响NPU训练或推理
|
使用场景
|
|---|
aicore压测
|
15min~40min
|
1h~3h
|
是
|
训练或推理任务时，设备出现aicore error故障。
|
aicore诊断
|
7min~20min
|
≤1h
|
是
|
训练或推理任务巡检、上线时，请执行3次aicore诊断，3轮全部通过表示aicore诊断正常。任意一轮回显为EMERGENCY_WARN即表示芯片故障，需更换硬件。
|
- Aicore压测和Aicore诊断有不同的使用场景，具体请参见表1。请根据实际使用场景选择执行Aicore压测或Aicore诊断。
- 若想同时使用Aicore/片上内存(全量压测)/P2P压测请执行一键式组合诊断。
支持的场景
AICore ERROR（以下简称aicore）压测支持的设备及场景如表2所示。（在下表中，Y表示支持，N表示不支持。）
表2 支持的场景和产品型号场景/产品型号
|
Atlas A2 训练系列产品
|
Atlas 800I A2 推理产品
|
Atlas A3 训练系列产品
|
|---|
物理机
|
Y
|
Y
|
Y
|
宿主机+容器
|
Y
|
Y
|
Y
|
虚拟机
|
Y
|
Y
|
N
|
使用约束
- aicore压测会影响NPU训练或推理作业，为保证返回检测结果的正确性和准确性，请单独执行。
- aicore压测完成后请检查环境aic和bus电压是否正常，若异常，请请进行问题分析和定位后，再执行ascend-dmi -r 命令恢复NPU环境。详细说明请参考NPU环境恢复。
- 如果aicore压测过程中发生掉卡（使用npu-smi info命令查询设备基本信息时，NPU不在位），需要下电重启设备，并在设备重启后进行NPU环境恢复。详细说明请参考NPU环境恢复。
- aicore压测需要占用HOST服务器侧约20~40GB的内存，执行命令前请预留足够内存，防止进程异常中断。
测试前准备
- 执行aicore压测前，需已安装Atlas A2 训练系列产品配套的Ascend HDK 23.0.0及以后版本的MCU、驱动和固件。
- aicore压测依赖CANN 7.0.0及以后版本的开发套件包Ascend-cann-toolkit和Atlas A2 训练系列产品配套的二进制算子包Ascend-cann-kernels，在执行压力测试前需参考环境配置安装所需的软件包，并配置环境变量。
- 在执行aicore压测前，建议提前在环境上安装fuser软件，以便Ascend DMI对NPU进程进行监测。
测试项参数查询
各参数解释如表3所示。
表3 参数说明参数
|
说明
|
是否必填
|
|---|
[-dg, --dg, --diagnosis]
|
使用该参数进行整卡的故障诊断测试。
|
是
|
[-i, --items]
|
指定具体的诊断检查项： - aicore：AICore ERROR压测。
- 不传入此参数，则默认执行除aicore和prbs外其他检查项的诊断。
|
是
|
[-d, --device]
|
指定需要进行诊断测试的Device ID，Device ID是指昇腾芯片的逻辑ID。
- 可指定一个或多个Device ID，多个时各项之间使用“,”分隔。
- 若不填写Device ID则默认返回所有Device的诊断结果。
|
否
|
[-s, --stress]
|
使用该参数进行压力测试，当前支持指定的压力测试有以下几种： 片上内存压测、Aicore压测、P2P压测。 - 在包含Aicore检查项的场景下，支持与-sc参数一起使用，执行压测的次数以--sc指定的次数为准。
|
是
|
[--sc，--stress-count]
|
指定aicore压测的次数。
- 当items参数指定aicore时，此参数才会生效；参数取值范围为[1, 100]。
|
否
|
[-r, --result]
|
指定故障诊断结果和信息采集结果的保存路径，如：/test。指定的路径需符合安全要求，且不支持包含通配符“*”。
- 若用户指定结果保存路径，则在指定路径创建ascend_check文件夹，root用户指定的路径，将创建在根目录下，非root用户则创建在其$HOME下；若不指定路径，则保存在默认路径下，root用户：“/var/log/ascend_check”，非root用户：“$HOME/var/log/ascend_check”。
- 基于安全考虑，为防止结果保存目录权限被修改，用户可将结果保存目录ascend_check的权限设置为700。
- 当[-fmt, --fmt, --format]后检查项指定json格式输出时，会进行故障诊断结果保存，结果保存在“ascend_check/environment_check_before.txt”文件中，不指定json格式输出时，不保存故障诊断结果。
|
否
|
[-fmt, --fmt, --format]
|
指定输出格式，可以为normal或json。若未指定则默认为normal。
|
否
|
[-q, --quiet]
|
- 指定该参数，将不再进行防呆提示，用户将默认允许该操作。该参数必须与-i参数的bandwidth、aiflops、hbm、aicore一起使用。
- 若不指定该参数，在使用bandwidth、aiflops、hbm和aicore测试时将进行防呆提示，用户需要输入Y或N（y或n）确认是否进行测试。
|
否
|
注：
- 本文档输入或输出的Device ID都是芯片逻辑ID。
- 用户可以执行npu-smi info -m命令，在显示界面表格中的Chip Logic ID参数处获得芯片逻辑ID，NPU ID则为对应的芯片物理ID。
- ascend-dmi --dg后使用-i，-d等多个二级参数时，可任意指定这些参数的排列顺序，不影响命令结果输出。
|
使用实例
ascend-dmi -dg -i aicore -s -sc 60 -q
故障检查项说明
表4 故障检查项说明回显状态
|
含义
|
|---|
PASS
|
压力测试结果无异常。
|
SKIP
|
- 执行压测的用户为非root用户。
- 当前设备不支持aicore压测。
|
EMERGENCY_WARN
|
紧急警告，请更换硬件。
|
FAIL
|
Aicore压测失败，请联系华为工程师处理。
|