单机带宽低

问题现象

单机Hccl test带宽峰值稳定低于预期值（预期值可以参见Ascend Training Solution中对应产品的《集群交付一本通》中“单机测试 > 测试方案 > 测试规格”）。

原因分析

1. 日志等级设置不是error。

   若某些卡的日志等级设置不是error，可能会导致对应卡的带宽降低（某些场景下，可能会导致带宽降低2GB左右）。

2. 某条链路单宽低。

   某条链路带宽低会导致单机整机单宽低。

解决步骤

1. 若是日志级别设置不是error导致的带宽降低，可通过重新设置Host侧与Device侧日志级别为error解决。

   Host侧日志级别：

   export ASCEND_GLOBAL_LOG_LEVEL=3   // (0:debug 1:info 2:warning 3:error)

   Device侧日志操作：

   # 查询 
   for i in {0..7}; do /usr/local/Ascend/driver/tools/msnpureport -r -d $i; done
   # 设置
   for i in {0..7}; do msnpureport -g error -d $i; done

2. 若重设日志级别后，带宽仍然较低，可分析是否某条链路HCCS带宽低，若是单机16卡机型，是否PCIe链路带宽低。

   可通过ascend-dmi命令测p2p的带宽

   测选卡测某条链路：

   ascend-dmi --bw -t p2p --ds 0 --dd 8

   测全量p2p：

   ascend-dmi --bw -t p2p #测试时间较长预计20分钟

   然后在昇腾社区提issue解决。