torch.distributed.distributed_c10d._world.default_pg._get_backend(torch.device("npu")).get_hccl_comm_name
产品支持情况
| 产品 | 是否支持 |
|---|---|
| [object Object]Atlas A3 训练系列产品[object Object] | √ |
| [object Object]Atlas A2 训练系列产品[object Object] | √ |
| [object Object]Atlas 推理系列产品[object Object] | √ |
| [object Object]Atlas 训练系列产品[object Object] | √ |
功能说明
从初始化完成的集合通信域中获取集合通信域名字。
函数原型
[object Object]
注:接口为PyTorch的ProcessGroup类,backend为NPU backend的方法。ProcessGroup可以为default_pg,也可以为torch.distributed.distributed_c10d.new_group创建的非default_pg。
须知:[object Object] 调用该接口时,需要保证当前current device被设置为正确。
参数说明
rankid (
int):必选参数,集合通信对应device的rankid。传入的rankid为全局的rankid,多机间device具有唯一的rankid。init_comm (
int):可选参数,默认值为True。值为True时,表示调用get_hccl_comm_name时,若hccl还未完成初始化,则完成初始化,并返回group name。值为False时,表示调用get_hccl_comm_name时,若hccl还未完成初始化,申请内存资源等操作时,则不进行初始化,并返回空字符串。
说明: [object Object] hccl初始化会申请内存资源,造成内存升高,默认申请内存大小为Send buffer与Recv buffer各200M,共400M。buffer大小受环境变量HCCL_BUFFSIZE控制。
返回值说明
string
代表string类型的集合通信域的名字。
约束说明
- 使用该接口前确保
init_process_group已被调用,且初始化的backend为hccl。 - PyTorch 2.1.0及以后版本与PyTorch 2.1.0之前的版本对该接口调用方式不同,见。
调用示例[object Object][object Object]
[object Object]