若API未标明支持情况，则代表该API的支持情况待验证。
API名称 |
是否支持 |
限制与说明 |
|---|---|---|
torch.distributed.is_available |
是 |
|
torch.distributed.init_process_group |
是 |
|
torch.distributed.is_initialized |
是 |
|
torch.distributed.is_mpi_available |
是 |
|
torch.distributed.is_nccl_available |
是 |
|
torch.distributed.is_gloo_available |
是 |
|
torch.distributed.is_torchelastic_launched |
是 |
|
torch.distributed.Backend |
是 |
|
torch.distributed.Backend.register_backend |
||
torch.distributed.get_backend |
是 |
|
torch.distributed.get_rank |
是 |
|
torch.distributed.get_world_size |
是 |
|
torch.distributed.Store |
是 |
|
torch.distributed.TCPStore |
是 |
|
torch.distributed.HashStore |
是 |
|
torch.distributed.FileStore |
是 |
|
torch.distributed.PrefixStore |
是 |
|
torch.distributed.Store.set |
是 |
|
torch.distributed.Store.get |
是 |
|
torch.distributed.Store.add |
是 |
|
torch.distributed.Store.compare_set |
是 |
|
torch.distributed.Store.wait |
是 |
|
torch.distributed.Store.num_keys |
是 |
|
torch.distributed.Store.delete_key |
是 |
|
torch.distributed.Store.set_timeout |
是 |
|
torch.distributed.new_group |
是 |
|
torch.distributed.get_group_rank |
是 |
|
torch.distributed.get_global_rank |
是 |
|
torch.distributed.get_process_group_ranks |
是 |
|
torch.distributed.send |
是 |
支持bf16，fp16，fp32，fp64，int8，uint8，int16，int32，int64，bool |
torch.distributed.recv |
是 |
支持bf16，fp16，fp32，fp64，int8，uint8，int16，int32，int64，bool |
torch.distributed.isend |
是 |
支持bf16，fp16，fp32，fp64，int8，uint8，int16，int32，int64，bool |
torch.distributed.irecv |
是 |
支持bf16，fp16，fp32，fp64，int8，uint8，int16，int32，int64，bool |
torch.distributed.batch_isend_irecv |
否 |
|
torch.distributed.P2POp |
是 |
支持bf16，fp16，fp32，fp64，int8，uint8，int16，int32，int64，bool |
torch.distributed.broadcast |
是 |
支持bf16，fp16，fp32，fp64，int8，uint8，int16，int32，int64，bool |
torch.distributed.broadcast_object_list |
是 |
|
torch.distributed.all_reduce |
是 |
支持fp16， fp32， int32， int64， bool |
torch.distributed.reduce |
是 |
支持bf16， fp16， fp32， uint8， int8， int32， int64， bool |
torch.distributed.all_gather |
是 |
支持bf16， fp16， fp32， int32， int8， bool |
torch.distributed.all_gather_into_tensor |
是 |
支持bf16， fp16， fp32， int32， int8， bool world size不支持3，5，6，7 |
torch.distributed.all_gather_object |
是 |
|
torch.distributed.gather |
||
torch.distributed.gather_object |
||
torch.distributed.scatter |
||
torch.distributed.scatter_object_list |
||
torch.distributed.reduce_scatter |
是 |
支持bf16，fp16， fp32， int32， int8 |
torch.distributed.reduce_scatter_tensor |
是 |
支持bf16，fp16， fp32， int32， int8 world size不支持3，5，6，7 |
torch.distributed.all_to_all_single |
是 |
支持fp32 |
torch.distributed.all_to_all |
是 |
支持fp32 |
torch.distributed.barrier |
是 |
|
torch.distributed.monitored_barrier |
||
torch.distributed.ReduceOp |
是 |
支持bf16， fp16， fp32， uint8， int8， int32， int64， bool |
torch.distributed.reduce_op |
是 |
支持bf16， fp16， fp32， uint8， int8， int32， int64， bool |
torch.distributed.broadcast_multigpu |
||
torch.distributed.all_reduce_multigpu |
||
torch.distributed.reduce_multigpu |
||
torch.distributed.all_gather_multigpu |
||
torch.distributed.reduce_scatter_multigpu |
||
torch.distributed.DistBackendError |
是 |