昇腾社区首页
中文
注册
开发者
下载
支持
积分兑换 NEW

aclnnRmsNormGrad

产品支持情况

[object Object]undefined

功能说明

  • 算子功能：的反向计算。用于计算RmsNorm的梯度，即在反向传播过程中计算输入张量的梯度。

  • 算子公式：

    • 正向公式：
    RmsNorm⁡(xi)=xiRms⁡(x)gi, where Rms⁡(x)=1n∑i=1nxi2+eps\operatorname{RmsNorm}(x_i)=\frac{x_i}{\operatorname{Rms}(\mathbf{x})} g_i, \quad \text { where } \operatorname{Rms}(\mathbf{x})=\sqrt{\frac{1}{n} \sum_{i=1}^n x_i^2+eps}
    • 反向推导：
    dxi=(dyi∗gi−xiRms⁡(x)∗Mean⁡(y))∗1Rms⁡(x), where Mean⁡(y)=1n∑i=1n(dyi∗gi∗xiRms⁡(x))dx_i= (dy_i * g_i - \frac{x_i}{\operatorname{Rms}(\mathbf{x})} * \operatorname{Mean}(\mathbf{y})) * \frac{1} {\operatorname{Rms}(\mathbf{x})}, \quad \text { where } \operatorname{Mean}(\mathbf{y}) = \frac{1}{n}\sum_{i=1}^n (dy_i * g_i * \frac{x_i}{\operatorname{Rms}(\mathbf{x})}) dgi=xiRms⁡(x)dyidg_i = \frac{x_i}{\operatorname{Rms}(\mathbf{x})} dy_i

函数原型

每个算子分为，必须先调用[object Object]接口获取计算所需workspace大小以及包含了算子计算流程的执行器，再调用[object Object]接口执行计算。

  • [object Object]
  • [object Object]

aclnnRmsNormGradGetWorkspaceSize

  • 参数说明：

    • dy（aclTensor*，计算输入）：Device侧的aclTensor，表示反向传回的梯度。对应公式中的[object Object]。支持ND，shape支持1-8维度。
      • [object Object]Atlas 推理系列产品[object Object]：数据类型支持FLOAT32，FLOAT16。
      • [object Object]Atlas A2 训练系列产品/Atlas A2 推理系列产品[object Object]、[object Object]Atlas A3 训练系列产品/Atlas A3 推理系列产品[object Object]：数据类型支持FLOAT32，FLOAT16，BFLOAT16。
    • x（aclTensor*，计算输入）：Device侧的aclTensor，正向算子的输入，表示被标准化的数据。对应公式中的[object Object]。支持ND，shape支持1-8维度，且与入参[object Object]的shape一致。
      • [object Object]Atlas 推理系列产品[object Object]：数据类型支持FLOAT32，FLOAT16。
      • [object Object]Atlas A2 训练系列产品/Atlas A2 推理系列产品[object Object]、[object Object]Atlas A3 训练系列产品/Atlas A3 推理系列产品[object Object]：数据类型支持FLOAT32，FLOAT16，BFLOAT16。
    • rstd（aclTensor*，计算输入）：Device侧的aclTensor，正向算子的中间计算结果。对应公式中的[object Object]。数据类型支持FLOAT32。支持ND，shape支持1-8维度，shape需要满足rstd_shape = x_shape[0:n]，n < x_shape.dims()，n与gamma一致。
    • gamma（aclTensor*，计算输入）：Device侧的aclTensor，正向算子的输入。对应公式中的[object Object]。支持ND，shape支持1-8维度，shape需要满足gamma_shape = x_shape[n:], n < x_shape.dims()。
      • [object Object]Atlas 推理系列产品[object Object]：数据类型支持FLOAT32，FLOAT16。
      • [object Object]Atlas A2 训练系列产品/Atlas A2 推理系列产品[object Object]、[object Object]Atlas A3 训练系列产品/Atlas A3 推理系列产品[object Object]：数据类型支持FLOAT32，FLOAT16，BFLOAT16。
    • dxOut（aclTensor*，计算输出）：Device侧的aclTensor，表示输入[object Object]的梯度。对应公式中的[object Object]。支持ND，shape支持1-8维度，shape与入参[object Object]的shape保持一致。
      • [object Object]Atlas 推理系列产品[object Object]：数据类型支持FLOAT32，FLOAT16。
      • [object Object]Atlas A2 训练系列产品/Atlas A2 推理系列产品[object Object]、[object Object]Atlas A3 训练系列产品/Atlas A3 推理系列产品[object Object]：数据类型支持FLOAT32，FLOAT16，BFLOAT16。
    • dgammaOut（aclTensor*，计算输出）：Device侧的aclTensor，表示[object Object]的梯度。对应公式中的[object Object]。数据类型支持FLOAT32。支持ND，shape支持1-8维度，shape与入参[object Object]的shape保持一致。
    • workspaceSize（uint64_t*，出参）：返回用户需要在Device侧申请的workspace大小。
    • executor（aclOpExecutor**，出参）：返回op执行器，包含了算子计算流程。

  • 返回值：

    aclnnStatus：返回状态码，具体参见。

    [object Object]

aclnnRmsNormGrad

  • 参数说明：

    • workspace（void*，入参）：在Device侧申请的workspace内存地址。
    • workspaceSize（uint64_t，入参）：在Device侧申请的workspace大小，由第一段接口aclnnRmsNormGradGetWorkspaceSize获取。
    • executor（aclOpExecutor*，入参）：op执行器，包含了算子计算流程。
    • stream（aclrtStream，入参）：指定执行任务的Stream。

  • 返回值： aclnnStatus：返回状态码，具体参见。

约束说明

  • [object Object]Atlas 推理系列产品[object Object]：[object Object]、[object Object]、[object Object]输入的尾轴长度必须大于等于32Bytes。

  • 支持类型说明：

    • 是否支持空Tensor：支持空进空出。
    • 是否支持：支持非连续Tensor。

  • 各产品支持数据类型说明：

    • [object Object]Atlas A2 训练系列产品/Atlas A2 推理系列产品[object Object]、[object Object]Atlas A3 训练系列产品/Atlas A3 推理系列产品[object Object]：[object Object]undefined
    • [object Object]Atlas 推理系列产品[object Object]：[object Object]undefined

  • aclnnRmsNormGrad默认为非确定性实现，可通过配置为确定性实现。

调用示例

示例代码如下，仅供参考，具体编译和执行过程请参考。

[object Object]