torch.nn

torch.nn

表1 torch.nn
序号	API名称	是否支持
1	Parameter	是

Containers

表2 Containers
序号	API名称	是否支持
1	Module	是
2	ModuleDict	是
3	ModuleList	是
4	ParameterDict	是
5	ParameterList	是
6	Sequential	是

Convolution Layers

表3 Convolution Layers
序号	API名称	是否支持
1	nn.Conv1d	是
2	nn.Conv2d	是
3	nn.Conv3d	是
4	nn.ConvTranspose1d	是
5	nn.ConvTranspose2d	是
6	nn.ConvTranspose3d	是
7	nn.Fold	是
8	nn.Unfold	是

Pooling layers

表4 Pooling layers
序号	API名称	是否支持
1	nn.AdaptiveAvgPool1d	是
2	nn.AdaptiveAvgPool2d	是
3	nn.AdaptiveAvgPool3d	是，仅支持D=1，H=1，W=1场景
4	nn.AdaptiveMaxPool1d	是
5	nn.AdaptiveMaxPool2d	是
6	nn.AdaptiveMaxPool3d	否
7	nn.AvgPool1d	是
8	nn.AvgPool2d	是
9	nn.AvgPool3d	是
10	nn.FractionalMaxPool2d	否
11	nn.LPPool1d	是
12	nn.LPPool2d	是
13	nn.MaxPool1d	是
14	nn.MaxPool2d	是
15	nn.MaxPool3d	是
16	nn.MaxUnpool1d	是
17	nn.MaxUnpool2d	是
18	nn.MaxUnpool3d	是

Padding Layers

表5 Padding Layers
序号	API名称	是否支持
1	nn.ConstantPad1d	是
2	nn.ConstantPad2d	是
3	nn.ConstantPad3d	是
4	nn.ReflectionPad1d	否
5	nn.ReflectionPad2d	是
6	nn.ReplicationPad1d	否
7	nn.ReplicationPad2d	是
8	nn.ReplicationPad3d	否
9	nn.ZeroPad2d	是

Non-linear Activations (weighted sum, nonlinearity)

表6 Non-linear Activations
序号	API名称	是否支持
1	nn.CELU	是
2	nn.ELU	是
3	nn.GELU	是
4	nn.Hardshrink	是
5	nn.Hardtanh	是
6	nn.LeakyReLU	是
7	nn.LogSigmoid	是
8	nn.MultiheadAttention	是
9	nn.PReLU	是
10	nn.ReLU	是
11	nn.ReLU6	是
12	nn.RReLU	是
13	nn.SELU	是
14	nn.Sigmoid	是
15	nn.Softplus	是
16	nn.Softshrink	是
17	nn.Softsign	是
18	nn.Tanh	是
19	nn.Tanhshrink	是
20	nn.Threshold	是

Non-linear Activations (other)

表7 Normalization Layers
序号	API名称	是否支持
1	nn.AdaptiveLogSoftmaxWithLoss	否
2	nn.LogSoftmax	是
3	nn.Softmax	是
4	nn.Softmax2d	是
5	nn.Softmin	是

Normalization Layers

表8 Non-linear Activations
序号	API名称	是否支持
1	nn.BatchNorm1d	是
2	nn.BatchNorm2d	是
3	nn.BatchNorm3d	是
4	nn.GroupNorm	是
5	nn.InstanceNorm1d	是
6	nn.InstanceNorm2d	是
7	nn.InstanceNorm3d	是
8	nn.LayerNorm	是
9	nn.LocalResponseNorm	是
10	nn.SyncBatchNorm	是

Recurrent Layers

表9 Recurrent Layers
序号	API名称	是否支持
1	nn.GRU	是
2	nn.GRUCell	是
3	nn.LSTM	是
4	nn.LSTMCell	是，非16对齐场景暂不支持
5	nn.RNN	是
6	nn.RNNBase	是
7	nn.RNNCell	是

Transformer Layers

**表10** Transformer Layers
序号	API名称	是否支持
1	nn.Transformer	是
2	nn.TransformerDecoder	是
3	nn.TransformerDecoderLayer	是
4	nn.TransformerEncoder	是
5	nn.TransformerEncoderLayer	是

Linear Layers

**表11** Linear Layers
序号	API名称	是否支持
1	nn.Bilinear	是
2	nn.Identity	是
3	nn.LazyLinear	是
4	nn.Linear	是

Dropout Layers

**表12** Dropout Layers
序号	API名称	是否支持
1	nn.AlphaDropout	是
2	nn.Dropout	是
3	nn.Dropout2d	是
4	nn.Dropout3d	是

Sparse Layers

**表13** Sparse Layers
序号	API名称	是否支持
1	nn.Embedding	是
2	nn.EmbeddingBag	是

Distance Functions

**表14** Distance Functions
序号	API名称	是否支持
1	nn.CosineSimilarity	是
2	nn.PairwiseDistance	是

Loss Functions

**表15** Loss Functions
序号	API名称	是否支持
1	nn.BCELoss	是
2	nn.BCEWithLogitsLoss	是
3	nn.CosineEmbeddingLoss	是
4	nn.CrossEntropyLoss	是
5	nn.CTCLoss	是
6	nn.HingeEmbeddingLoss	是
7	nn.KLDivLoss	是
8	nn.L1Loss	是
9	nn.MarginRankingLoss	是
10	nn.MSELoss	是
11	nn.MultiLabelMarginLoss	是
12	nn.MultiLabelSoftMarginLoss	是
13	nn.MultiMarginLoss	否
14	nn.NLLLoss	是
15	nn.PoissonNLLLoss	是
16	nn.SmoothL1Loss	是
17	nn.SoftMarginLoss	是
18	nn.TripletMarginLoss	是

Vision Layers

**表16** Vision Layers
序号	API名称	是否支持
1	nn.PixelShuffle	是
2	nn.Upsample	是
3	nn.UpsamplingBilinear2d	是
4	nn.UpsamplingNearest2d	是

DataParallel Layers (multi-GPU, distributed)

**表17** DataParallel Layers
序号	API名称	是否支持
1	nn.DataParallel	否
2	nn.parallel.DistributedDataParallel	是

Utilities

**表18** Utilities
序号	API名称	是否支持
1	clip_grad_norm_	是
2	clip_grad_value_	是
3	nn.Flatten	是
4	nn.utils.rnn.pack_padded_sequence	是
5	nn.utils.rnn.pack_sequence	否
6	nn.utils.rnn.PackedSequence	是
7	nn.utils.rnn.pad_packed_sequence	否
8	nn.utils.rnn.pad_sequence	是
9	parameters_to_vector	是
10	prune.BasePruningMethod	是
11	prune.custom_from_mask	是
12	prune.CustomFromMask	是
13	prune.global_unstructured	是
14	prune.Identity	是
15	prune.identity	是
16	prune.is_pruned	是
17	prune.l1_unstructured	是
18	prune.L1Unstructured	是
19	prune.ln_structured	是
20	prune.LnStructured	是
21	prune.PruningContainer	是
22	prune.random_structured	是
23	prune.random_unstructured	是
24	prune.RandomStructured	是
25	prune.RandomUnstructured	是
26	prune.remove	是
27	remove_spectral_norm	是
28	remove_weight_norm	是
29	spectral_norm	是
30	vector_to_parameters	是
31	weight_norm	是

父主题： PyTorch1.5.0