DDP Communication Hooks

若API未标明支持情况，则代表该API的支持情况待验证。

API名称

是否支持

限制与说明

torch.distributed.GradBucket
  • Atlas 训练系列产品：否
  • Atlas A2 训练系列产品：是

支持fp32

torch.distributed.GradBucket.index
  • Atlas 训练系列产品：否
  • Atlas A2 训练系列产品：是

支持fp32

torch.distributed.GradBucket.buffer
  • Atlas 训练系列产品：否
  • Atlas A2 训练系列产品：是

支持fp32

torch.distributed.GradBucket.gradients
  • Atlas 训练系列产品：否
  • Atlas A2 训练系列产品：是

支持fp32

torch.distributed.GradBucket.is_last
  • Atlas 训练系列产品：否
  • Atlas A2 训练系列产品：是
   

torch.distributed.GradBucket.set_buffer
  • Atlas 训练系列产品：否
  • Atlas A2 训练系列产品：是
   

torch.distributed.GradBucket.parameters
  • Atlas 训练系列产品：否
  • Atlas A2 训练系列产品：是
   

torch.distributed.algorithms.ddp_comm_hooks.default_hooks.allreduce_hook

是

支持fp32

torch.distributed.algorithms.ddp_comm_hooks.default_hooks.fp16_compress_hook

是

支持fp32

torch.distributed.algorithms.ddp_comm_hooks.default_hooks.bf16_compress_hook

      

torch.distributed.algorithms.ddp_comm_hooks.default_hooks.fp16_compress_wrapper

是

支持fp32

torch.distributed.algorithms.ddp_comm_hooks.default_hooks.bf16_compress_wrapper

      

torch.distributed.algorithms.ddp_comm_hooks.powerSGD_hook.PowerSGDState

是

支持bf16，fp16，fp32

torch.distributed.algorithms.ddp_comm_hooks.powerSGD_hook.powerSGD_hook

是

   

torch.distributed.algorithms.ddp_comm_hooks.powerSGD_hook.batched_powerSGD_hook

是

   

torch.distributed.algorithms.ddp_comm_hooks.debugging_hooks.noop_hook

是

支持fp32

__getstate__

      

__setstate__

      
父主题： PyTorch原生API