BandWidth诊断

测试项功能

对本地带宽进行诊断，并输出诊断结果。

表1 诊断项说明

诊断项名称

使用Atlas A2 训练系列产品完成一轮诊断的参考耗时

使用Atlas 900 A3 SuperPoD 集群算力系统完成一轮诊断的参考耗时

是否影响NPU训练或推理

使用场景

bandwidth

1min~5min

15min~20min

是

训练或推理业务上线。

支持的场景

带宽诊断支持的设备及场景如表2所示。（在下表中，Y表示支持，N表示不支持。）

表2 支持的场景和产品型号

场景/产品型号

Atlas 训练系列产品

Atlas A2 训练系列产品

Atlas 200/300/500 推理产品

Atlas 推理系列产品

Atlas 200I/500 A2 推理产品

Atlas 800I A2 推理产品

Atlas A3 训练系列产品

物理机

Y

Y

Y

5

Y

Y

Y

宿主机+容器

Y

Y

2

5

N

Y

Y

虚拟机

1

N

3

4

N

N

N
  1. 仅Atlas 800 训练服务器（型号 9000）、Atlas 900 PoD（型号 9000）、Atlas 900T PoD Lite产品支持。
  2. 仅Atlas 200 AI加速模块（EP场景）、Atlas 300I 推理卡（型号 3000）、Atlas 300I 推理卡（型号 3010）、Atlas 500 Pro 智能边缘服务器（型号 3000）支持。
  3. 仅Atlas 300I 推理卡（型号 3000）、Atlas 300I 推理卡（型号 3010）、Atlas 500 Pro 智能边缘服务器（型号 3000）支持。
  4. 仅Atlas 300I Pro 推理卡、Atlas 300I Duo 推理卡、Atlas 300V Pro 视频解析卡、Atlas 300V 视频解析卡支持。
  5. 仅Atlas 300I Pro 推理卡、Atlas 300I Duo 推理卡、Atlas 300V Pro 视频解析卡、Atlas 300V 视频解析卡、Atlas 200I SoC A1 核心板支持。

使用约束

测试前准备

在执行bandwidth诊断前，建议提前在环境上安装fuser软件，以便Ascend DMI对NPU进程进行监测。

测试项参数查询

各参数解释如表3所示。

表3 参数说明

参数

说明

是否必填

[-dg, --dg, --diagnosis]

使用该参数进行整卡的故障诊断测试。

是

[-i, --items]
指定具体的诊断检查项：
  • bandwidth：本地带宽，包含Host to Device、Device to Host、Device to Device、Peer to Peer四个方向。
  • 可指定driver、cann、device、network、bandwidth、aiflops、hbm、signalQuality中的一项或多项，多项时各项之间使用“,”分隔。
  • 不传入此参数，则默认执行除aicore和prbs外其他检查项的诊断。

否

[-d, --device]

指定需要进行诊断测试的Device ID，Device ID是指昇腾芯片的逻辑ID。

  • 当[-i, --items]后检查项包含device、network、bandwidth、aiflops、hbm时，可填写此参数。
  • 可指定一个或多个Device ID，多个时各项之间使用“,”分隔。
  • 若不填写Device ID则默认返回所有Device的诊断结果。
  • 当[-i, --items]后检查项为bandwidth时，指定2个及以上的Device会进行p2p压测，若用户只指定1个Device ID则不会进行p2p压测。

否

[-r, --result]

指定故障诊断结果和信息采集结果的保存路径，如：/test。指定的路径需符合安全要求，且不支持包含通配符“*”。

  • 若用户指定结果保存路径，则在指定路径创建ascend_check文件夹，root用户指定的路径，将创建在根目录下，非root用户则创建在其$HOME下；若不指定路径，则保存在默认路径下，root用户：“/var/log/ascend_check”，非root用户：“$HOME/var/log/ascend_check”。
  • 基于安全考虑，为防止结果保存目录权限被修改，用户可将结果保存目录ascend_check的权限设置为700。
  • 当[-fmt, --fmt, --format]后检查项指定json格式输出时，会进行故障诊断结果保存，结果保存在“ascend_check/environment_check_before.txt”文件中，不指定json格式输出时，不保存故障诊断结果。

否

[-fmt, --fmt, --format]

指定输出格式，可以为normal或json。若未指定则默认为normal。

否

[-q, --quiet]

指定该参数，将不再进行防呆提示，用户将默认允许该操作。

  • 该参数必须与-i参数的bandwidth、aiflops、hbm、aicore一起使用。
  • 若不指定该参数，在执行bandwidth诊断时将进行防呆提示，用户需要输入Y或N（y或n）确认是否进行诊断。

否

注：

  • 本文档输入或输出的Device ID都是芯片逻辑ID。
  • 用户可以执行npu-smi info -m命令，在显示界面表格中的Chip Logic ID参数处获得芯片逻辑ID，NPU ID则为对应的芯片物理ID。
  • ascend-dmi --dg后使用-i，-d等多个二级参数时，可任意指定这些参数的排列顺序，不影响命令结果输出。

使用实例

ascend-dmi --dg -i driver,bandwidth,cann -d 0

故障检查项说明

表4 故障检查项说明

回显状态

含义

PASS

带宽测试结果正常。

FAIL
  • 带宽测试执行失败。
  • 带宽测试结果小于参考值。
  • 处理方案：请联系华为工程师处理或参考FAQ进行定位。
父主题： 故障诊断