torch.nn.functional

若API未标明支持情况,则代表该API的支持情况待验证。

API名称

是否支持

限制与说明

torch.nn.functional.conv1d

是

支持fp32,fp16

torch.nn.functional.conv2d

是

支持fp16,fp32

torch.nn.functional.conv3d

否

  

torch.nn.functional.conv_transpose1d

是

支持fp32

torch.nn.functional.conv_transpose2d

是

支持fp32,fp16

torch.nn.functional.conv_transpose3d

否

  

torch.nn.functional.unfold

     

torch.nn.functional.fold

     

torch.nn.functional.avg_pool1d

否

  

torch.nn.functional.avg_pool2d

否

  

torch.nn.functional.avg_pool3d

否

  

torch.nn.functional.max_pool1d

否

  

torch.nn.functional.max_pool2d

     

torch.nn.functional.max_pool3d

否

  

torch.nn.functional.max_unpool1d

是

支持fp16,fp32,fp64,int8,uint8,int32,int64

torch.nn.functional.max_unpool2d

是

支持fp16,fp32,fp64,int8,uint8,int32,int64

torch.nn.functional.max_unpool3d

     

torch.nn.functional.lp_pool1d

否

  

torch.nn.functional.lp_pool2d

否

  

torch.nn.functional.adaptive_max_pool1d

     

torch.nn.functional.adaptive_max_pool2d

     

torch.nn.functional.adaptive_max_pool3d

否

  

torch.nn.functional.adaptive_avg_pool1d

是

支持fp32,fp16

torch.nn.functional.adaptive_avg_pool2d

是

支持fp32,fp16

torch.nn.functional.adaptive_avg_pool3d

     

torch.nn.functional.fractional_max_pool2d

否

  

torch.nn.functional.fractional_max_pool3d

否

  

torch.nn.functional.scaled_dot_product_attention

否

  

torch.nn.functional.threshold

是

支持fp16,fp32,int8,int16,uint8,int32,int64

torch.nn.functional.threshold_

是

支持fp16,fp32,int8,int16,uint8,int32,int64

torch.nn.functional.relu

是

支持fp16,fp32,int8,uint8,int32,int64

torch.nn.functional.relu_

是

支持fp16,fp32,int8,uint8,int32,int64

torch.nn.functional.hardtanh

是

支持fp32,fp16,int8,int16,int32,int64

torch.nn.functional.hardtanh_

是

支持fp32,fp16,int8,int16,int32,int64

torch.nn.functional.hardswish

是

支持fp16,fp32

torch.nn.functional.relu6

是

支持fp32,fp16,uint8,int8,int16,int32,int64

torch.nn.functional.elu

是

支持fp32,fp16

torch.nn.functional.elu_

是

支持fp32,fp16

torch.nn.functional.selu

是

支持fp32,fp16

torch.nn.functional.celu

是

支持fp32,fp16

torch.nn.functional.leaky_relu

是

支持fp16,fp32,fp64

torch.nn.functional.leaky_relu_

是

支持fp16,fp32,fp64

torch.nn.functional.prelu

是

支持fp32,fp16

torch.nn.functional.rrelu

是

支持bf16,fp32,fp16

torch.nn.functional.rrelu_

     

torch.nn.functional.glu

是

支持fp32,fp16

torch.nn.functional.gelu

是

支持bf16,fp32,fp16

torch.nn.functional.logsigmoid

是

支持fp32,fp16

torch.nn.functional.hardshrink

是

支持fp32,fp16

torch.nn.functional.tanhshrink

     

torch.nn.functional.softsign

是

支持bf16,fp32,fp16,uint8,int8,int16,int32,int64

torch.nn.functional.softplus

是

支持fp16,fp32

torch.nn.functional.softmin

     

torch.nn.functional.softmax

是

支持bf16,fp32,fp16

torch.nn.functional.softshrink

是

支持fp32,fp16

torch.nn.functional.gumbel_softmax

     

torch.nn.functional.log_softmax

是

支持bf16,fp32,fp16

torch.nn.functional.tanh

是

支持fp16,fp32,int8,int16,uint8,int32,int64,bool

torch.nn.functional.sigmoid

是

支持fp32,fp16,uint8,int8,int16,int32,int64,bool,complex64,complex128

torch.nn.functional.hardsigmoid

是

支持fp16,fp32

torch.nn.functional.silu

是

支持fp16,fp32,int64,bool

torch.nn.functional.mish

否

  

torch.nn.functional.batch_norm

是

支持fp32,fp16

torch.nn.functional.group_norm

否

  

torch.nn.functional.instance_norm

     

torch.nn.functional.layer_norm

是

支持bf16,fp32,fp16

torch.nn.functional.local_response_norm

否

  

torch.nn.functional.normalize

否

  

torch.nn.functional.linear

是

支持fp32,fp16

torch.nn.functional.bilinear

是

支持fp32,fp16

torch.nn.functional.dropout

     

torch.nn.functional.alpha_dropout

是

支持bf16,fp32,fp16,uint8,int8,int16,int32,int64,bool,complex64,complex128

torch.nn.functional.feature_alpha_dropout

是

支持bf16,fp32,fp16,uint8,int8,int16,int32,int64,bool,complex64,complex128

torch.nn.functional.dropout1d

否

  

torch.nn.functional.dropout2d

     

torch.nn.functional.dropout3d

     

torch.nn.functional.embedding

是

支持int32,int64

torch.nn.functional.embedding_bag

     

torch.nn.functional.one_hot

是

支持int32,int64

torch.nn.functional.pairwise_distance

     

torch.nn.functional.cosine_similarity

是

支持fp32,fp16

torch.nn.functional.pdist

     

torch.nn.functional.binary_cross_entropy

是

支持fp32,fp16

torch.nn.functional.binary_cross_entropy_with_logits

是

支持fp32,fp16

torch.nn.functional.poisson_nll_loss

是

支持bf16,fp32,fp16,int64

torch.nn.functional.cosine_embedding_loss

     

torch.nn.functional.cross_entropy

是

支持bf16,fp32,fp16

torch.nn.functional.ctc_loss

是

支持fp32

torch.nn.functional.gaussian_nll_loss

是

支持bf16,fp32,fp16,uint8,int8,int16,int32,int64

torch.nn.functional.hinge_embedding_loss

     

torch.nn.functional.kl_div

是

支持fp16,fp32

torch.nn.functional.l1_loss

是

支持fp16,fp32,int64

torch.nn.functional.mse_loss

是

支持fp32,fp16

torch.nn.functional.margin_ranking_loss

是

支持bf16,fp32,fp16

torch.nn.functional.multilabel_margin_loss

     

torch.nn.functional.multilabel_soft_margin_loss

否

  

torch.nn.functional.multi_margin_loss

否

可以走CPU实现

torch.nn.functional.nll_loss

是

支持fp32

torch.nn.functional.huber_loss

否

  

torch.nn.functional.smooth_l1_loss

是

支持fp32,fp16

torch.nn.functional.soft_margin_loss

否

  

torch.nn.functional.triplet_margin_loss

否

  

torch.nn.functional.triplet_margin_with_distance_loss

否

  

torch.nn.functional.pixel_shuffle

是

支持bf16,fp16,fp32,fp64,int8,uint8,int16,int32,int64,bool

torch.nn.functional.pixel_unshuffle

是

支持bf16,fp16,fp32,fp64,int8,uint8,int16,int32,int64,bool

torch.nn.functional.pad

是

支持bf16,fp32,fp16,uint8,int16,int32,int64,bool

在输入x为六维以上时可能会出现性能下降问题

torch.nn.functional.interpolate

是

支持fp16,fp32,fp64

只支持mode = nearest

torch.nn.functional.upsample

是

支持fp16,fp32,fp64

只支持mode = nearest

torch.nn.functional.upsample_nearest

是

支持fp16,fp32,fp64

只支持3-5维

torch.nn.functional.upsample_bilinear

是

支持fp32,fp16

torch.nn.functional.grid_sample

     

torch.nn.functional.affine_grid

是

支持fp16,fp32

torch.nn.parallel.data_parallel

否