aclnnLayerNormBackward

产品支持情况

产品	是否支持
[object Object]Atlas A3 训练系列产品/Atlas A3 推理系列产品[object Object]	√
[object Object]Atlas A2 训练系列产品/Atlas 800I A2 推理产品/A200I A2 Box 异构组件[object Object]	√
[object Object]Atlas 200I/500 A2 推理产品[object Object]	×
[object Object]Atlas 推理系列产品 [object Object]	√
[object Object]Atlas 训练系列产品[object Object]	√

功能说明

• 算子功能：undefined的反向传播。用于计算输入张量的梯度，以便在反向传播过程中更新模型参数。
• 计算公式：$$res\_for\_gamma = (input - mean) \times rstd$$ $$dy\_g = gradOut \times weightOptional$$ $$temp_1 = 1/N \times \sum_{reduce\_axis\_1} gradOut \times weightOptional$$ $$temp_2 = 1/N \times (input - mean) \times rstd \times \sum_{reduce\_axis\_1}(gradOut \times weightOptional \times (input - mean) \times rstd)$$ $$gradInputOut = (gradOut \times weightOptional - (temp_1 + temp_2)) \times rstd$$ $$gradWeightOut = \sum_{reduce\_axis\_0}gradOut \times (input - mean) \times rstd$$ $$gradBiasOut = \sum_{reduce\_axis\_0}gradOut$$ 其中，N为进行归一化计算的轴的维度，即归一化轴维度的大小。

函数原型

每个算子分为undefined，必须先调用“aclnnLayerNormBackwardGetWorkspaceSize”接口获取计算所需workspace大小以及包含了算子计算流程的执行器，再调用“aclnnLayerNormBackward”接口执行计算。

• aclnnStatus aclnnLayerNormBackwardGetWorkspaceSize(const aclTensor *gradOut, const aclTensor *input, const aclIntArray *normalizedShape, const aclTensor *mean, const aclTensor *rstd, const aclTensor *weightOptional, const aclTensor *biasOptional, const aclBoolArray *outputMask, aclTensor *gradInputOut, aclTensor *gradWeightOut, aclTensor *gradBiasOut, uint64_t *workspaceSize, aclOpExecutor **executor)
• aclnnStatus aclnnLayerNormBackward(void *workspace, uint64_t workspaceSize, aclOpExecutor *executor, aclrtStream stream)

aclnnLayerNormBackwardGetWorkspaceSize

• 参数说明：

  • gradOut(aclTensor*，计算输入)：Device侧的aclTensor。对应计算公式中的gradOut。反向计算的梯度tensor，与输入input的数据类型相同。shape与input的shape相等，为[A1,...,Ai,R1,...,Rj], shape长度大于等于normalizedShape的长度。支持undefined，不支持空Tensor。undefined支持ND。

    • [object Object]Atlas A2 训练系列产品/Atlas 800I A2 推理产品/A200I A2 Box 异构组件[object Object]、[object Object]Atlas A3 训练系列产品/Atlas A3 推理系列产品[object Object]：数据类型支持FLOAT、FLOAT16、BFLOAT16。
    • [object Object]Atlas 推理系列产品[object Object]、[object Object]Atlas 训练系列产品[object Object]：数据类型支持FLOAT、FLOAT16。

  • input(aclTensor*，计算输入)：Device侧的aclTensor。对应计算公式中的input。正向计算的首个输入，与输入gradOut的数据类型相同。shape与gradOut的shape相等，为[A1,...,Ai,R1,...,Rj], shape长度大于等于normalizedShape的长度。支持undefined，不支持空Tensor。undefined支持ND。

    • [object Object]Atlas A2 训练系列产品/Atlas 800I A2 推理产品/A200I A2 Box 异构组件[object Object]、[object Object]Atlas A3 训练系列产品/Atlas A3 推理系列产品[object Object]：数据类型支持FLOAT、FLOAT16、BFLOAT16。
    • [object Object]Atlas 推理系列产品[object Object]、[object Object]Atlas 训练系列产品[object Object]：数据类型支持FLOAT、FLOAT16。

  • normalizedShape(aclIntArray*，计算输入)：Device侧的aclIntArray。对应计算公式中的$reduce\_axis\_1$，表示需要进行norm计算的维度，公式中的$reduce\_axis\_0$为不进行norm计算的维度。数据类型支持INT64，值为[R1,...,Rj], 长度小于等于输入input的shape长度，不支持为空。

  • mean(aclTensor*，计算输入)：Device侧的aclTensor。对应计算公式中的mean。正向计算的第二个输出，表示input的均值，与输入rstd的数据类型相同且位宽不低于输入input的数据类型位宽。shape与rstd的shape相等，为[A1,...,Ai,1,...,1]，Ai后共有j个1，与需要norm的轴长度保持相同。支持undefined，不支持空Tensor。undefined支持ND。

    • [object Object]Atlas A2 训练系列产品/Atlas 800I A2 推理产品/A200I A2 Box 异构组件[object Object]、[object Object]Atlas A3 训练系列产品/Atlas A3 推理系列产品[object Object]：数据类型支持FLOAT、FLOAT16、BFLOAT16。
    • [object Object]Atlas 推理系列产品[object Object]、[object Object]Atlas 训练系列产品[object Object]：数据类型支持FLOAT、FLOAT16。

  • rstd(aclTensor*，计算输入)：Device侧的aclTensor。对应计算公式中的rstd。正向计算的第三个输出，表示input的标准差的倒数，与输入mean的数据类型相同且位宽不低于输入input的数据类型位宽。shape与mean的shape相等，为[A1,...,Ai,1,...,1]，Ai后共有j个1，与需要norm的轴长度保持相同。支持undefined，不支持空Tensor。undefined支持ND。

    • [object Object]Atlas A2 训练系列产品/Atlas 800I A2 推理产品/A200I A2 Box 异构组件[object Object]、[object Object]Atlas A3 训练系列产品/Atlas A3 推理系列产品[object Object]：数据类型支持FLOAT、FLOAT16、BFLOAT16。
    • [object Object]Atlas 推理系列产品[object Object]、[object Object]Atlas 训练系列产品[object Object]：数据类型支持FLOAT、FLOAT16。

  • weightOptional(aclTensor*，计算输入)：Device侧的aclTensor。对应计算公式中的weightOptional。权重tensor，可选参数。weightOptional非空时，数据类型与输入input一致或为FLOAT类型，且当biasOptional存在时与biasOptional的数据类型相同。shape与normalizedShape相等，为[R1,...,Rj]。支持undefined，不支持空Tensor。undefined支持ND。weightOptional为空时，需要构造一个shape为[R1,...,Rj]，数据类型与输入input相同，数据全为1的tensor。

    • [object Object]Atlas A2 训练系列产品/Atlas 800I A2 推理产品/A200I A2 Box 异构组件[object Object]、[object Object]Atlas A3 训练系列产品/Atlas A3 推理系列产品[object Object]：数据类型支持FLOAT、FLOAT16、BFLOAT16。
    • [object Object]Atlas 推理系列产品[object Object]、[object Object]Atlas 训练系列产品[object Object]：数据类型支持FLOAT、FLOAT16。

  • biasOptional(aclTensor*，计算输入)：Device侧的aclTensor。偏置tensor，可选参数。biasOptional非空时，数据类型与输入input一致或为FLOAT类型，且当weightOptional存在时与weightOptional的数据类型相同。shape与normalizedShape相等，为[R1,...,Rj]。支持undefined，不支持空Tensor。undefined支持ND。biasOptional为空时，不做任何处理。

    • [object Object]Atlas A2 训练系列产品/Atlas 800I A2 推理产品/A200I A2 Box 异构组件[object Object]、[object Object]Atlas A3 训练系列产品/Atlas A3 推理系列产品[object Object]：数据类型支持FLOAT、FLOAT16、BFLOAT16。
    • [object Object]Atlas 推理系列产品[object Object]、[object Object]Atlas 训练系列产品[object Object]：数据类型支持FLOAT、FLOAT16。

  • outputMask(aclBoolArray*，计算输入)：Host侧的aclTensor。表示输出的掩码，数据类型支持BOOL，长度固定为3，取值为True时表示对应位置的输出非空。

  • gradInputOut(aclTensor*，可选输出)：Device侧的aclTensor。对应计算公式中的gradInputOut。表示反向传播的输出梯度，由outputMask的第0个元素控制是否输出，outputMask第0个元素为True时会进行输出，与输入input的数据类型相同。shape与input的shape相等，为[A1,...,Ai,R1,...,Rj]。支持undefined，不支持空Tensor。undefined支持ND。

    • [object Object]Atlas A2 训练系列产品/Atlas 800I A2 推理产品/A200I A2 Box 异构组件[object Object]、[object Object]Atlas A3 训练系列产品/Atlas A3 推理系列产品[object Object]：数据类型支持FLOAT、FLOAT16、BFLOAT16。
    • [object Object]Atlas 推理系列产品[object Object]、[object Object]Atlas 训练系列产品[object Object]：数据类型支持FLOAT、FLOAT16。

  • gradWeightOut(aclTensor*，可选输出)：Device侧的aclTensor。对应计算公式中的gradWeightOut。表示反向传播权重的梯度，由outputMask的第1个元素控制是否输出，outputMask第1个元素为True时会进行输出，与输入weightOptional的数据类型相同。shape与gradBiasOut的shape相等，为[R1,...,Rj]。支持undefined，不支持空Tensor。undefined支持ND。

    • [object Object]Atlas A2 训练系列产品/Atlas 800I A2 推理产品/A200I A2 Box 异构组件[object Object]、[object Object]Atlas A3 训练系列产品/Atlas A3 推理系列产品[object Object]：数据类型支持FLOAT、FLOAT16、BFLOAT16。
    • [object Object]Atlas 推理系列产品[object Object]、[object Object]Atlas 训练系列产品[object Object]：数据类型支持FLOAT、FLOAT16。

  • gradBiasOut(aclTensor*，可选输出)：Device侧的aclTensor。对应计算公式中的gradBiasOut。表示反向传播偏置的梯度，由outputMask的第2个元素控制是否输出，outputMask第2个元素为True时会进行输出，与输入weightOptional的数据类型相同。shape与gradWeightOut的shape相等，为[R1,...,Rj]。支持undefined，不支持空Tensor。undefined支持ND。

    • [object Object]Atlas A2 训练系列产品/Atlas 800I A2 推理产品/A200I A2 Box 异构组件[object Object]、[object Object]Atlas A3 训练系列产品/Atlas A3 推理系列产品[object Object]：数据类型支持FLOAT、FLOAT16、BFLOAT16。
    • [object Object]Atlas 推理系列产品[object Object]、[object Object]Atlas 训练系列产品[object Object]：数据类型支持FLOAT、FLOAT16。

  • workspaceSize(uint64_t*, 出参)：返回需要在Device侧申请的workspace大小。

  • executor(aclOpExecutor**, 出参)：返回op执行器，包含了算子计算流程。

• 返回值：

  aclnnStatus：返回状态码，具体参见undefined。

  [object Object]

aclnnLayerNormBackward

• 参数说明：

  • workspace(void*, 入参)：在Device侧申请的workspace内存地址。

  • workspaceSize(uint64_t, 入参)：在Device侧申请的workspace大小，由第一段接口aclnnLayerNormBackwardGetWorkspaceSize获取。

  • executor(aclOpExecutor*, 入参)：op执行器，包含了算子计算流程。

  • stream(aclrtStream, 入参)：指定执行任务的Stream。

• 返回值：

  aclnnStatus：返回状态码，具体参见undefined。

约束说明

gradOut，input，mean，rstd，weightOptional（非空时），biasOptional（非空时），gradInputOut（非空时），gradWeightOut（非空时），gradBiasOut（非空时），shape支持1-8维。

调用示例

示例代码如下，仅供参考，具体编译和执行过程请参考undefined。