c10d_npu::ProcessGroupHCCL
产品支持情况
| 产品 | 是否支持 |
|---|---|
| [object Object] Atlas A3 训练系列产品 [object Object] | √ |
| [object Object] Atlas A2 训练系列产品[object Object] | √ |
功能说明
ProcessGroupHCCL继承自c10d::Backend，实现HCCL后端的相关接口，用于通信算子调用。
定义文件
torch_npu\csrc\distributed\ProcessGroupHCCL.hpp
函数原型
[object Object]
约束说明
- 为了更好的并发和性能，该类提供的所有HCCL通信都是异步函数，用户需要确保通过WorkHCCL::wait()或WorkHCCL::synchronize()来保证任务完成。
- 该类继承自原生
c10d::Backend，实现的基本通信算子相关接口资料可参考undefined，不在本文档额外补充。基本通信算子列表如下：[object Object] broadcast[object Object] allreduce[object Object] allreduce_coalesced[object Object] reduce[object Object] allgather[object Object] allgather_togather[object Object] allgather_into_tensor_coalesced[object Object] reduce_scatter[object Object] reduce_scatter_tensor_coalesced[object Object] barrier[object Object] gather[object Object] scatter[object Object] send[object Object] recv[object Object] recvAnysource[object Object] alltoall_base[object Object] alltoall[object Object]