aclnnSoftmaxBackward

支持的产品型号

• Atlas 推理系列产品。
• Atlas 训练系列产品。
• Atlas A2训练系列产品。

接口原型

每个算子分为，必须先调用“aclnnSoftmaxBackwardGetWorkspaceSize”接口获取计算所需workspace大小以及包含了算子计算流程的执行器，再调用“aclnnSoftmaxBackward”接口执行计算。

• aclnnStatus aclnnSoftmaxBackwardGetWorkspaceSize(const aclTensor *gradOutput, const aclTensor *output, int64_t dim, aclTensor* out, uint64_t *workspaceSize, aclOpExecutor **executor)

• aclnnStatus aclnnSoftmaxBackward(void *workspace, uint64_t workspaceSize, aclOpExecutor *executor, aclrtStream stream)

功能描述

• 算子功能： softmax的反向传播。
• 计算公式：对于Softmax函数的求导，可以使用以下公式：$$\frac{\partial ext{softmax}(z_i)}{\partial z_j}=ext{softmax}(z_i) \cdot (\delta_{ij} - ext{softmax}(z_j)$$ 其中，$\delta_{ij}$是克罗内克(Kronecker)符号，当$i=j$时为1，否则为0。 out（输入梯度值）和gradOutput（上一层输出梯度）、output（Softmax正向输出）的关系可表示如下：$$out = gradOutput \cdot output - sum(gradOutput \cdot output)\cdot output$$

aclnnSoftmaxBackwardGetWorkspaceSize

• 参数说明：

  • gradOutput(const aclTensor *): 反向传播的梯度值，即上一层的输出梯度，数据类型支持FLOAT16、FLOAT32、BFLOAT16（仅Atlas A2训练系列产品支持）。支持，支持ND。

  • output(const aclTensor *): softmax函数的输出值，数据类型支持FLOAT16、FLOAT32、BFLOAT16（仅Atlas A2训练系列产品支持）。支持，支持ND。

  • dim(int64_t *): softmax函数的维度，数据类型支持INT64。

  • out(aclTensor *)： 函数的输出是输入的梯度值，即对输入进行求导后的结果，支持多种数据类型, FLOAT16、FLOAT32、BFLOAT16（仅Atlas A2训练系列产品支持）不需要额外申请空间, 其他数据类型通过自动cast能力支持，但会额外申请空间。支持，支持ND。

  • workspaceSize(uint64_t *)：返回用户需要在Device侧申请的workspace大小。

  • executor(aclOpExecutor **)：返回op执行器，包含了算子计算流程。

• 返回值：

  aclnnStatus： 返回状态码，具体参见。

  [object Object]

aclnnSoftmaxBackward

• 参数说明：

  • workspace(void *)：在Device侧申请的workspace内存地址。

  • workspaceSize(uint64_t)：在Device侧申请的workspace大小，由第一段接口aclnnSigmoidBackwardGetWorkspaceSize获取。

  • executor(aclOpExecutor *)：op执行器，包含了算子计算流程。

  • stream(const aclrtStream)：指定执行任务的 AscendCL Stream流。

• 返回值：

  aclnnStatus： 返回状态码，具体参见。

约束与限制

无。

调用示例

示例代码如下，仅供参考，具体编译和执行过程请参考。