工具编译

使用HCCL性能测试工具前需要安装相关依赖、配置环境变量，并编译HCCL性能测试工具。

说明：以下操作需要在每个参与集合通信的机器上执行。

MPI安装与配置

HCCL性能测试工具依赖MPI拉起多个进程，所以需要先安装MPI软件包。

如果通信网卡使用IPv4协议，需要安装MPI 3.2.1版本；如果通信网卡使用IPv6协议，则需要安装Open MPI-4.1.5版本。

  1. 安装MPI软件包。

    下面操作以安装MPI 3.2.1版本的软件包为例。

    1. 下载并解压MPI软件包。

      下载3.2.1版本的软件包，例如：mpich-3.2.1.tar.gz，然后执行如下命令解压缩软件包。

      tar -zxvf mpich-3.2.1.tar.gz
    2. 进入MPI解压后路径，并配置编译环境。 
      cd mpich-3.2.1
./configure --disable-fortran  --prefix=/usr/local/mpich-3.2.1

      其中--prefix表示配置的MPI安装路径，用户可自定义。

    3. 编译并安装MPI。 
      make && make install

      以上命令执行完成后MPICH会安装在“/usr/local/mpich-3.2.1”路径下。

  2. 配置网络节点信息，此步骤仅在通信网卡使用IPv6协议时进行，若使用IPv4协议，跳过即可。

    将运行环境的网卡IPv6地址加入到“/etc/hosts”文件中，如下图所示：

    图1 /etc/hosts文件配置

    其中node3、node4为相应节点的hostname。

    注意如果是Euler OS操作系统，需要执行nmcli c reload命令使更新后的“/etc/hosts”文件生效。

  3. 配置当前操作节点到集群通信节点的SSH信任关系，以支持集群通信节点远程登录。

    以下仅为操作示例：

    1. 在当前操作节点生成密钥信息（如若环境中存在，可不重复执行）： 
      ssh-keygen -t rsa

      例如密钥信息生成后，存储在“/root/.ssh/id_rsa.pub”文件中。

    2. 将操作节点公钥复制到集群通信其他节点，实现SSH密钥登录远程主机。

      针对图1中的node3与node4节点，示例如下：

      ssh-copy-id -i /root/.ssh/id_rsa.pub node3_ipv6_address
ssh-copy-id -i /root/.ssh/id_rsa.pub node4_ipv6_address
    3. SSH远程登录node3与node4，确认是否可以直接登录。

  4. 配置MPICH启动参数，此步骤仅在通信网卡使用IPv6协议时进行，若使用IPv4协议，跳过即可。 

    export HYDRA_LAUNCHER_EXTRA_ARGS="-B 本节点的IPv6网卡名"

配置环境变量

配置HCCL性能测试工具编译时依赖的环境变量：

export INSTALL_DIR=/usr/local/Ascend/ascend-toolkit/latest
export PATH=/usr/local/mpich-3.2.1/bin:$PATH
export LD_LIBRARY_PATH=/usr/local/mpich-3.2.1/lib:${INSTALL_DIR}/lib64:$LD_LIBRARY_PATH

编译HCCL性能测试工具

  1. 进入HCCL性能测试工具源码存放路径。 

    cd ${INSTALL_DIR}/tools/hccl_test

  2. 执行如下命令进行HCCL性能测试工具的编译： 

    make MPI_HOME=/usr/local/mpich-3.2.1 ASCEND_DIR=${INSTALL_DIR}

    “/usr/local/mpich-3.2.1”为MPI安装与配置时设置的MPI安装路径。

    编译成功后，会在${INSTALL_DIR}/tools/hccl_test/bin目录下生成集合通信性能测试工具的可执行文件，例如：

    all_gather_test、all_reduce_test等，每一个可执行文件对应一个集合通信算子。

父主题： HCCL性能测试工具