昇腾社区首页
中文
注册
开发者
下载
支持
积分兑换 NEW

aclnnConvolutionBackward

支持的产品型号

  • Atlas 推理系列产品。
  • Atlas 训练系列产品。
  • Atlas A2训练系列产品。

接口原型

每个算子分为，必须先调用“aclnnConvolutionBackwardGetWorkspaceSize”接口获取计算所需workspace大小以及包含了算子计算流程的执行器，再调用“aclnnConvolutionBackward”接口执行计算。

  • aclnnStatus aclnnConvolutionBackwardGetWorkspaceSize(const aclTensor *gradOutput, const aclTensor *input, const aclTensor *weight, const aclIntArray *biasSizes, const aclIntArray *stride, const aclIntArray *padding, const aclIntArray *dilation, const bool transposed, const aclIntArray *outputPadding, const int groups, const aclBoolArray *outputMask, const int8_t cubeMathType, aclTensor *gradInput, aclTensor *gradWeight, aclTensor *gradBias, uint64_t *workspaceSize, aclOpExecutor **executor)

  • aclnnStatus aclnnConvolutionBackward(void *workspace, uint64_t workspaceSize, aclOpExecutor *executor, const aclrtStream stream)

功能描述

  • 算子功能：卷积的反向传播。根据输出掩码设置计算输入、权重和偏差的梯度。此函数支持1D、2D或3D卷积。

  • 计算公式：

    卷积反向传播需要计算对卷积正向的输入张量 xx、卷积核权重张量 ww 和偏置 bb 的梯度。

    对于 xx 的梯度 ∂L∂x\frac{\partial L}{\partial x}：

    ∂L∂xn,cin,i,j=∑cout=1Cout∑p=1kH∑q=1kW∂L∂yn,cout,i−p,j−q⋅wcout,cin,p,q\frac{\partial L}{\partial x_{n, c_{in}, i, j}} = \sum_{c_{out}=1}^{C_{out}} \sum_{p=1}^{k_H} \sum_{q=1}^{k_W} \frac{\partial L}{\partial y_{n, c_{out}, i-p, j-q}}\cdot w_{c_{out}, c_{in}, p, q}

    其中，LL 为损失函数，∂L∂y\frac{\partial L}{\partial y} 为输出张量 yy 对 LL 的梯度。

    对于 ww 的梯度 ∂L∂w\frac{\partial L}{\partial w}：

    ∂L∂wcout,cin,p,q=∑n=1N∑i=1Hout∑j=1Woutxn,cin,i⋅sH+p,j⋅sW+q⋅∂L∂yn,cout,i,j\frac{\partial L}{\partial w_{c_{out}, c_{in}, p, q}} = \sum_{n=1}^{N} \sum_{i=1}^{H_{out}} \sum_{j=1}^{W_{out}} x_{n, c_{in}, i \cdot s_H + p, j \cdot s_W + q} \cdot \frac{\partial L}{\partial y_{n, c_{out}, i, j}}

    对于 bb 的梯度 ∂L∂b\frac{\partial L}{\partial b}：

    ∂L∂bcout=∑n=1N∑i=1Hout∑j=1Wout∂L∂yn,cout,i,j\frac{\partial L}{\partial b_{c_{out}}} = \sum_{n=1}^{N} \sum_{i=1}^{H_{out}} \sum_{j=1}^{W_{out}} \frac{\partial L}{\partial y_{n, c_{out}, i, j}}

aclnnConvolutionBackwardGetWorkspaceSize

  • 参数说明：

    • gradOutput(aclTensor *，计算输入)：公式中的∂L∂y\frac{\partial L}{\partial y}，shape不支持broadcast，要求和input、weight满足卷积输入输出shape的推导关系。数据类型支持BFLOAT16(仅Atlas A2训练系列产品支持)、FLOAT、FLOAT16，且数据类型与input、weight满足数据类型推导规则。支持。支持NCL、NCHW、NCDHW，且需要与input、weight一致。
    • input(aclTensor *，计算输入)：公式中的xx，shape不支持broadcast，要求和gradOutput、weight满足卷积输入输出shape的推导关系。数据类型支持BFLOAT16(仅Atlas A2训练系列产品支持)、FLOAT、FLOAT16，且数据类型与gradOutput、weight满足数据类型推导规则。支持。支持NCL、NCHW、NCDHW，且需要与gradOutput、weight一致。
    • weight(aclTensor *，计算输入)：公式中的ww，shape不支持broadcast，要求和gradOutput、input满足卷积输入输出shape的推导关系。数据类型支持BFLOAT16(仅Atlas A2训练系列产品支持)、FLOAT、FLOAT16，且数据类型与gradOutput、input满足数据类型推导规则。支持。支持NCL、NCHW、NCDHW，且需要与gradOutput、input一致。
    • biasSizes(aclIntArray *，计算输入)：卷积正向过程中偏差(bias)的shape。数据类型为int64，数组长度是1。 其在普通卷积中等于[weight.shape[0]],在转置卷积中等于[weight.shape[1] * groups]。
    • stride(aclIntArray *，计算输入)：反向传播过程中卷积核在输入上移动的步长。数据类型为int64，数组长度可以为1或weight维度减2，当为1时卷积核在输入上移动的步长在D、H和W方向上一样。数值必须大于0。
    • padding(aclIntArray *，计算输入)：反向传播过程中对于输入填充。数据类型为int64，数组长度可以为1或weight维度减2，当为1时对于输入填充在D、H和W方向上一样。 数值必须大于0。
    • dilation(aclIntArray *，计算输入)：反向传播过程中的膨胀参数。数据类型为int64，数组长度可以为1或weight维度减2，当为1时膨胀参数在D、H和W方向上一样。 数值必须大于0。
    • transposed(bool，计算输入)：转置卷积使能标志位, 当其值为True时使能转置卷积。
    • outputPadding(aclIntArray *，计算输入)：反向传播过程中对于输出填充, 仅在transposed为True时生效。数据类型为int64，数组长度可以为1或weight维度减2，当为1时对于输出填充在D、H和W方向上一样。 数值必须大于0。
    • groups(int，计算输入)：反向传播过程中输入通道的分组数。 数据类型为int, 数值必须大于0。
    • outputMask(aclBoolArray *，计算输入)：输出掩码参数, 指定输出中是否包含输入、权重、偏差的梯度。反向传播过程输出掩码参数为True对应位置的梯度。
    • cubeMathType(int8_t，计算输入)：用于判断Cube单元应该使用哪种计算逻辑进行运算，INT8类型的枚举值，枚举如下：
      • 0:KEEP_DTYPE，保持输入的数据类型进行计算。当输入是FLOAT，Atlas 训练系列产品和Atlas 推理系列产品暂不支持，取0时会报错。
      • 1:ALLOW_FP32_DOWN_PRECISION，允许将输入数据降精度计算。当输入是FLOAT，Atlas 训练系列产品和Atlas 推理系列产品允许转换为FLOAT16计算，Atlas A2训练系列产品允许转换为HFLOAT32计算。
      • 2:USE_FP16，允许转换为数据类型FLOAT16进行计算。当输入数据类型是FLOAT，转换为FLOAT16计算。
      • 3:USE_HF32，允许转换为数据类型HFLOAT32计算。当输入是FLOAT，Atlas 训练系列产品和Atlas 推理系列产品暂不支持，取3时会报错，Atlas A2训练系列产品转换为HFLOAT32计算。
    • gradInput(aclTensor *, 计算输出)：公式中的∂L∂x\frac{\partial L}{\partial x}，数据类型支持BFLOAT16(仅Atlas A2训练系列产品支持)、FLOAT、FLOAT16，且数据类型与input和gradOutput中的高精度类型一致，为NCL，NCHW，NCDHW，且与input一致。
    • gradWeight(aclTensor *, 计算输出)：公式中的∂L∂w\frac{\partial L}{\partial w}，数据类型支持BFLOAT16(仅Atlas A2训练系列产品支持)、FLOAT、FLOAT16，且数据类型与weight和gradOutput中的高精度类型一致，为NCL，NCHW，NCDHW，且与input一致。
    • gradBias(aclTensor *, 计算输出)：公式中的∂L∂b\frac{\partial L}{\partial b}，数据类型支持BFLOAT16(仅Atlas A2训练系列产品支持)、FLOAT、FLOAT16，且数据类型与gradOutput一致，为ND。
    • workspaceSize(uint64_t *, 出参)：返回用户需要在Device侧申请的workspace大小。
    • executor(aclOpExecutor **, 出参)：返回op执行器，包含了算子计算流程。

  • 返回值：

    aclnnStatus：返回状态码，具体参见。

    [object Object]

aclnnConvolutionBackward

  • 参数说明：

    • workspace(void*, 入参)：在Device侧申请的workspace内存地址。
    • workspaceSize(uint64_t, 入参)：在Device侧申请的workspace大小，由第一段接口aclnnConvolutionGetWorkspaceSize获取。
    • executor(aclOpExecutor*, 入参)：op执行器，包含了算子计算流程。
    • stream(aclrtStream, 入参)：指定执行任务的 AscendCL Stream流。

  • 返回值：

    aclnnStatus：返回状态码，具体参见。

约束与限制

当前接口暂不支持对3D卷积的反向求解

调用示例

示例代码如下，仅供参考，具体编译和执行过程请参考。

[object Object]