torch.distributed

torch.distributed.destroy_process_group

• 不推荐使用该接口，当前显示使用该接口销毁processgroup对象时可能会出现进程卡住的问题，可参考PyTorch原生issues信息https://github.com/pytorch/pytorch/issues/75097。
• 如使用该接口，请确保torch.npu.set_device在torch.distributed.init_process_group之前调用，否则可能会出现进程卡住的问题。

torch.distributed.is_available

是

torch.distributed.init_process_group

是

torch.distributed.is_initialized

是

torch.distributed.is_mpi_available

是

torch.distributed.is_nccl_available

是

torch.distributed.is_torchelastic_launched

否

torch.distributed.Backend

是

torch.distributed.get_backend

是

torch.distributed.get_rank

是

torch.distributed.get_world_size

是

torch.distributed.Store

否

torch.distributed.TCPStore

否

torch.distributed.HashStore

否

torch.distributed.FileStore

否

torch.distributed.PrefixStore

否

torch.distributed.Store.set

否

torch.distributed.Store.get

否

torch.distributed.Store.add

否

torch.distributed.Store.compare_set

否

torch.distributed.Store.wait

否

torch.distributed.Store.num_keys

否

torch.distributed.Store.delete_key

否

torch.distributed.Store.set_timeout

否

torch.distributed.new_group

是

torch.distributed.send

是

支持bf16，fp16，fp32，fp64，uint8，int8，int16，int32，int64，bool

torch.distributed.recv

是

支持bf16，fp16，fp32，fp64，uint8，int8，int16，int32，int64，bool

torch.distributed.isend

是

支持bf16，fp16，fp32，fp64，uint8，int8，int16，int32，int64，bool

torch.distributed.irecv

是

支持bf16，fp16，fp32，fp64，uint8，int8，int16，int32，int64，bool

torch.distributed.broadcast

是

支持bf16，fp16，fp32，fp64，uint8，int8，int16，int32，int64，bool

torch.distributed.broadcast_object_list

是

torch.distributed.all_reduce

是

支持fp16， fp32， int32， int64， bool

torch.distributed.reduce

是

支持bf16，fp16，fp32，uint8，int8，int32，int64，bool

torch.distributed.all_gather

是

支持bf16，fp16，fp32，int8，int32，bool

torch.distributed.all_gather_object

是

torch.distributed.gather

否

torch.distributed.gather_object

否

torch.distributed.scatter

否

torch.distributed.scatter_object_list

否

torch.distributed.reduce_scatter

是

支持bf16，fp16，fp32，int8，int32

torch.distributed.all_to_all

是

支持fp32

torch.distributed.barrier

是

torch.distributed.monitored_barrier

否

torch.distributed.ReduceOp

是

支持bf16，fp16，fp32，uint8，int8，int32，int64，bool

torch.distributed.reduce_op

是

支持bf16，fp16，fp32，uint8，int8，int32，int64，bool