BroadcastOperation

功能

把主进程（root节点）的Tensor数据广播到其他的进程。

该算子涉及多卡相关操作，可根据实际需求配置HCCL相关环境变量，具体请参见《环境变量参考》中“执行相关 > 集合通信与分布式训练 > 集合通信相关配置”章节。配置TLS等相关操作可查看对应设备的。

约束

• rank、rankSize、rankRoot需满足以下条件。
  • 0 ≤ rank < rankSize
  • 0 ≤ rankRoot < rankSize
• Atlas 推理系列产品（Ascend 310P AI处理器）不支持该算子。
• 多用户使用时需要使用ATB_SHARE_MEMORY_NAME_SUFFIX环境变量（请参见Transformer加速库环境变量说明）进行共享内存的区分，以进行初始化信息同步。

当使用加速库的通信算子异常退出时，需要清空残留数据，避免影响之后的使用，命令参考如下：

rm -rf /dev/shm/sem.lccl*
rm -rf /dev/shm/sem.hccl*
ipcrm -a

定义

struct BroadcastParam {
    int rank = 0;
    int rankSize = 0;
    int rankRoot = 0;
    HcclComm hcclComm = nullptr; 
    CommMode commMode = COMM_MULTI_PROCESS;
    std::string backend = "hccl";
    std::string rankTableFile;
};

成员

输入

输出