昇腾社区首页
中文
注册
开发者
下载
支持

超节点P2P带宽测试

测试项功能

超节点P2P带宽测试主要用于测试节点之间的网络传输速率和总耗时。

使用约束

  • 当前测试项功能仅支持root用户在超节点上使用。
  • 为了测试最优带宽性能，测试时确保待测节点或Device不受其他因素干扰。
  • 为了保证测试的能正常执行，请勿在3个及以上的超节点同时执行测试，否则可能导致超节点P2P带宽测试失败。
  • 使用前应确保执行超节点P2P带宽测试的2个节点为同一NPU类型。
  • 为了避免频繁输出日志影响测试结果，测试前确认Host和Device的日志级别设置为ERROR，确认及设置方法如下：
    1. 确认日志级别：
      • Host侧：通过执行echo $GLOBAL_LOG_LEVEL命令查询，如果查询结果为非法值或者空，表示日志级别为缺省级别ERROR，对应数值3。
      • Device侧：请参考《msnpureport工具使用》，查看全局日志级别、模块日志级别和是否开启Event日志。
    2. 如果日志级别不为ERROR，请参考《CANN 日志参考》中“设置日志级别”章节章节，设置Host和Device侧的日志级别。

测试前准备

  • 在执行超节点P2P带宽测试前，建议提前在环境上安装fuser软件，以便Ascend DMI对NPU进程进行监测。

测试流程

超节点需要通过共享目录来传递共享地址和进程ID。以在Device A、Device B上进行超节点P2P带宽测试为例，测试流程如下：

  1. 请准备挂载共享目录的超节点环境，确保待测节点能够访问同一共享目录；
  2. 已完成CANN、MindCluster ToolBox的安装，并配置环境变量；
  3. Device A启动Ascend DMI，参数指定为超节点带宽测试，并指定Device B的IP地址；
  4. Device B启动Ascend DMI，参数指定为超节点带宽测试，并指定Device A地址；
  5. 打印测试结果。
  • 在上述用流程中，Device A和Device B启动Ascend DMI工具进行超节点带宽测试时，时间间隔不能超过5s。
  • 请确认参数填写的ip地址有效。

测试项参数查询

用户可任选以下指令之一查看带宽测试命令的可用参数。

ascend-dmi --bw -h

ascend-dmi --bw --help

命令各参数解释如表1所示。

表1 参数说明

参数

说明

约束

是否必填

[-bw, --bw, --bandwidth]

使用该参数测试芯片的带宽。支持-bw，但建议使用--bw或--bandwidth。

-

是

[-t, --type]

指测试数据流向的分类。

当前仅支持带宽类型为p2p的指定。

是

[-sp, --sp, --super-pod]

指定超节点测试。

该参数取值为0或1，0表示该节点优先测试单向带宽。

指定该参数必须同时指定--ip。

是

[-ip, --ip, --peer-ip]

用于指定超节点测试时对方节点的ip地址。
  • 必须为有效IP。
  • 当前仅支持IPV4类型的IP地址。

是

[-hip, --hip, --host-ip]

指定本端Host IP。
  • 必须为有效IP。
  • 当前仅支持IPV4类型的IP地址。

是

[-spp, --spp, --super-pod-path]

指定节点间可访问的同一共享目录路径。

指定路径需符合安全要求，且不支持包含通配符“*”。

是

[-d, --device]

指定待测节点的Device ID，默认值为0。

-

否

[-s, --size]

指传输数据大小并指定测试结果显示方式。

  • 传输数据的取值范围为1Byte~4GB。
  • 当前默认值为536870912字节。
  • 指定-s参数后面必须填写数值指定传输数据的大小，不填写属于错误写法。
  • 执行超节点P2P带宽测试的2个节点指定的-s参数的数值大小必须相同。

否

[-et, --et, --execute-times]

指迭代次数，即内存拷贝次数。
  • 取值范围为[1, 1000]，若不填写，则默认为40。
  • 执行超节点P2P带宽测试的2个节点指定的-et参数的数值大小必须相同。

否

[-fmt, --fmt, --format]

指定输出格式，可以为normal或json。若未指定则默认为normal。

-

否

[-q, --quiet]

指定该参数时，将不再进行防呆提示，用户将默认允许该操作。

若不指定该参数，将进行防呆提示，用户需要输入Y或N（y或n）确认是否进行测试。

否

[-h, --help]

查看Ascend DMI工具“超节点 P2P 带宽测试”功能的帮助信息。

-

否

注：

临时文件名分别为flag、procInfo和procInfoBi（会在--spp参数指定的目录下生成一个ascend_check目录，ascend_check目录下会生成一个以--hip参数指定的IP为名称的目录，临时文件会放在该目录下）。
  • ascend-dmi --bw后使用-t，-d等多个二级参数时，可任意指定这些参数的排列顺序，不影响命令结果输出。例如：ascend-dmi --bw -t p2p --sp 0 --ip yy.yy.yy.yy -d 1 --spp /xxx/xxx/xxx --hip xx.xx.xx.xx和ascend-dmi --bw -d 1 -t p2p --sp 0 --ip yy.yy.yy.yy --spp /xxx/xxx/xxx --hip xx.xx.xx.xx输出结果相同。
  • 使用-s和-et参数指定的数据搬运量和数据拷贝的次数较小时，可能无法获取最佳性能，如需稳定测得最佳性能，建议-s指定为512M，-et指定为>10。

使用实例

  • 以不指定超节点P2P带宽测试的Device ID为例，命令如下。（请将下文中的xx.xx.xx.xx替换为优先测试单向带宽的节点IP，请将下文中的yy.yy.yy.yy替换为对方节点的IP）

    优先测试单向带宽的节点上执行：

    ascend-dmi --bw -t p2p --sp 0 --ip yy.yy.yy.yy --spp /xxx/xxx/xxx --hip xx.xx.xx.xx

    对方节点上执行：

    ascend-dmi --bw -t p2p --sp 1 --ip xx.xx.xx.xx --spp /xxx/xxx/xxx --hip yy.yy.yy.yy
    图1 超节点P2P带宽测试示例
     1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
    [root@*****~]#  ascend-dmi --bw -t p2p -sp 1 -ip xx.xx.xx.xx -q --spp /xxx/xxx/xxx --hip yy.yy.yy.yy
Unidirectional Peer to Peer Test
Pod: yy.yy.yy.yy device id: 0 to Pod: xx.xx.xx.xx device id: 0
----------------------------------------------------------------
  Size(Bytes)  Execute Times  Bandwidth(GB/s)  Elapsed Time(us)
----------------------------------------------------------------
   536870912         40          164.336497       3266.90
----------------------------------------------------------------

Bidirectional Peer to Peer Test
Pod: yy.yy.yy.yy device id: 0 and Pod: xx.xx.xx.xx device id: 0
----------------------------------------------------------------
  Size(Bytes)  Execute Times  Bandwidth(GB/s)  Elapsed Time(us)
----------------------------------------------------------------
   536870912         40          290.613631       3694.74
----------------------------------------------------------------
  • 以测试2个节点Device 1之间的带宽为例。

    优先测试单向带宽的节点上执行

    ascend-dmi --bw -t p2p --sp 0 --ip yy.yy.yy.yy -d 1 --spp /xxx/xxx/xxx --hip xx.xx.xx.xx

    对方节点上执行

    ascend-dmi --bw -t p2p --sp 1 --ip xx.xx.xx.xx -d 1 --spp /xxx/xxx/xxx --hip yy.yy.yy.yy

    以图1 超节点P2P带宽测试示例为例，在上述显示界面中，各参数说明如参下表所示。

    表2 显示界面参数介绍

    参数

    说明

    Unidirectional Peer to Peer Test

    单向P2P。

    Bidirectional Peer to Peer Test

    双向P2P。

    Pod: yy.yy.yy.yy device: 0 to Pod: xx.xx.xx.xx device: 0

    前一个Pod代表优先测试单向带宽的节点；yy.yy.yy.yy 为优先测试单向带宽的节点IP；device为优先测试单向带宽的Device ID。

    后者为对方节点；对方节点IP；对方节点Device ID。

    Size(Bytes)

    传输数据大小，单位为字节。

    Execute Times

    迭代次数。

    Bandwidth(GB/s)

    芯片的带宽，单位为GB。

    Elapsed Time(us)

    总执行时长。
父主题： 性能测试