DDP Communication Hooks

若API未标明支持情况,则代表该API的支持情况待验证。

API名称

是否支持

限制与说明

torch.distributed.GradBucket

是

  

torch.distributed.GradBucket.index

是

  

torch.distributed.GradBucket.buffer

是

  

torch.distributed.GradBucket.gradients

是

  

torch.distributed.GradBucket.is_last

是

  

torch.distributed.GradBucket.set_buffer

是

  

torch.distributed.GradBucket.parameters

是

  

torch.distributed.algorithms.ddp_comm_hooks.default_hooks.allreduce_hook

是

  

torch.distributed.algorithms.ddp_comm_hooks.default_hooks.fp16_compress_hook

是

  

torch.distributed.algorithms.ddp_comm_hooks.default_hooks.bf16_compress_hook

     

torch.distributed.algorithms.ddp_comm_hooks.default_hooks.fp16_compress_wrapper

是

  

torch.distributed.algorithms.ddp_comm_hooks.default_hooks.bf16_compress_wrapper

     

torch.distributed.algorithms.ddp_comm_hooks.powerSGD_hook.PowerSGDState

是

  

torch.distributed.algorithms.ddp_comm_hooks.powerSGD_hook.powerSGD_hook

是

  

torch.distributed.algorithms.ddp_comm_hooks.powerSGD_hook.batched_powerSGD_hook

是

  

torch.distributed.algorithms.ddp_comm_hooks.debugging_hooks.noop_hook

是

  

__getstate__

     

__setstate__