通信域管理

通信域是集合通信算子执行的上下文，管理对应的通信对象（例如一个NPU就是一个通信对象）和通信所需的资源。通信域中的每个通信对象称为一个rank，每个rank都会分配一个介于0~n-1（n为npu的数量）的唯一标识。

通信域创建根据用户场景的不同主要有以下几种方式：

多机集合通信场景，如果有完整的描述集群信息的ranktable文件，可通过HcclCommInitClusterInfo接口创建通信域，或者通过HcclCommInitClusterInfoConfig接口创建具有特定配置的通信域。
多机集合通信场景，如果无完整的ranktable，可通过HcclGetRootInfo接口与HcclCommInitRootInfo/HcclCommInitRootInfoConfig接口配合使用，基于root节点广播方式创建通信域。
单机集合通信场景，可通过HcclCommInitAll接口在单机内批量创建通信域。
基于已有的通信域，可通过HcclCreateSubCommConfig接口切分具有特定配置的子通信域。

针对同一个rank，通信算子需要one by one保序调用，不支持并发下发。
针对整个通信域，通信算子的调用在不同rank间要保证同一下发顺序。
同一个通信域内不支持图模式通信和单算子通信混合执行。

基于ranktable创建通信域

多机集合通信、基于集群信息配置ranktable文件创建通信域的场景，每张卡需要使用一个单独的进程参考如下流程创建通信域：

构造ranktable文件（ranktable文件的配置可参见ranktable文件配置资源信息），如果已存在ranktable文件，也可以通过环境变量RANK_TABLE_FILE获取。
每张卡使用HcclCommInitClusterInfo接口创建通信域，或者使用HcclCommInitClusterInfoConfig接口创建具有特定配置的通信域。

一个简单的代码示例片段如下：

    // 获取ranktable路径
    char* rankTableFile = getenv("RANK_TABLE_FILE");
    // 定义通信域句柄
    HcclComm hcclComm;
    // 初始化HCCL通信域
    HcclCommInitClusterInfo(rankTableFile, devId, &hcclComm);
   
    /*  集合通信操作   */

    // 销毁HCCL通信域
    HcclCommDestroy(hcclComm);

完整的代码示例可参见HcclCommInitClusterInfo初始化方式。

基于root节点广播方式创建通信域

多机集合通信场景，若无完整的集群信息配置ranktable文件，HCCL提供了基于root节点广播的方式创建通信域，详细流程如下：

配置环境变量HCCL_IF_IP，指定root通信网卡的IP地址。
需要配置为root节点Host网卡的IP地址，可以是IPv4或IPv6格式，仅支持配置一个IP地址，配置示例如下：
```
export HCCL_IF_IP=10.10.10.1
```
在root节点调用HcclGetRootInfo接口，生成root节点rank标识信息“rootInfo”，包括device ip、device id等信息。
将root节点的rank信息广播至集群中的所有rank。
在所有节点调用HcclCommInitRootInfo或者HcclCommInitRootInfoConfig接口（创建具有特定配置的通信域），基于接收到的“rootInfo”，以及本rank的rank id等信息，进行HCCL初始化。

需要注意：每个卡需要使用一个单独的进程进行以上操作。

使用HcclCommInitRootInfo接口创建通信域的简单代码示例片段如下：

    // 获取当前进程在所属进程组的编号
    MPI_Comm_rank(MPI_COMM_WORLD, &procRank);
    int devId = procRank;
    // 在root节点获取其rank信息
    HcclRootInfo rootInfo;
    int32_t rootRank = 0;
    if(devId == rootRank) {
        HcclGetRootInfo(&rootInfo);
    }
    // 将root_info广播到通信域内的其他rank
    MPI_Bcast(&rootInfo, HCCL_ROOT_INFO_BYTES, MPI_CHAR, rootRank, MPI_COMM_WORLD);
    MPI_Barrier(MPI_COMM_WORLD);
    // 定义通信域句柄
    HcclComm hcclComm;
    // 初始化HCCL通信域
    HcclCommInitRootInfo(devCount, &rootInfo, devId, &hcclComm);
    
    /*  集合通信操作   */

    // 销毁HCCL通信域
    HcclCommDestroy(hcclComm);

完整的代码示例可参见HcclCommInitRootInfo初始化方式。

单机内批量创建通信域

单机通信场景中，开发者通过一个进程统一创建多张卡的通信域，其中一张卡对应一个线程，创建流程如下：

构造通信域中的Device列表，例如：{0, 1, 2, 3, 4, 5, 6, 7}，其中列表中的Device ID是逻辑ID。
在进程中调用HcclCommInitAll接口创建通信域。

      
       
         
         
               uint32_t ndev = 8;
    // 构造Device的逻辑ID列表
    int32_t devices[8] = {0, 1, 2, 3, 4, 5, 6, 7};
    // 定义通信域句柄
    HcclComm comms[ndev];
    // 初始化HCCL通信域
    HcclCommInitAll(ndev, devices, comms);

    // 启动线程执行集合通信操作
    std::vector<std::unique_ptr<std::thread> > threads(ndev);
    struct ThreadContext args[ndev];
    for (uint32_t i = 0; i < ndev; i++) {
        args[i].device = i;
        args[i].comm = comms[i];
       /*  集合通信操作   */      
    }

    // 销毁HCCL通信域
    for (uint32_t i = 0; i < ndev; i++) {
        HcclCommDestroy(comms[i]);
    }

          

        

      
     

需要注意，多线程调用集合通信操作API时（例如HcclAllReduce时），需要确保不同线程中调用集合通信操作API的前后时间差不超过环境变量HCCL_CONNECT_TIMEOUT的时间，避免建链超时。

完整的代码示例可参见HcclCommInitAll初始化。

基于已有通信域切分子通信域

HCCL提供了HcclCreateSubCommConfig接口，实现基于已有通信域切分具有特性配置子通信域的功能。该子通信域创建方式无需进行socket建链与rank信息交换，可应用于业务故障下的快速通信域创建。

使用HcclCreateSubCommConfig接口切分子通信域的代码示例可参见HcclCreateSubCommConfig方式创建子通信域。

该接口仅支持从全局通信域切分子通信域，不支持通信域的嵌套切分。

销毁通信域

集合通信操作完成后，需要调用运行时管理接口释放通信所用的内存、Stream、Device资源，并调用HcclCommDestroy接口销毁指定的通信域，完整的示例代码可参见样例代码。

父主题： 通信功能开发