aclnnRotaryPositionEmbeddingGrad

产品支持情况

[object Object]undefined

功能说明

• 接口功能：执行单路旋转位置编码的反向计算。

• 计算公式：

  取旋转位置编码的正向计算中，broadcast的轴列表为[object Object]，则计算公式可表达如下：

  • [object Object]Atlas A3 训练系列产品/Atlas A3 推理系列产品[object Object]、[object Object]Atlas A2 训练系列产品/Atlas A2 推理系列产品[object Object]：

  （1）half模式（mode等于0）：

  $$dy1, dy2 = chunk(dy, chunks=2, dim=-1)$$ $$cos1, cos2 = chunk(cos, chunks=2, dim=-1)$$ $$sin1, sin2 = chunk(sin, chunks=2, dim=-1)$$ $$x1, x2 = chunk(x, chunks=2, dim=-1)$$ $$dx = cat((cos1 * dy1 + sin2 * dy2, cos2 * dy2 - sin1 * dy1), dim=-1)$$ $$dcos = sum(dy * x, dims)$$ $$dsin = sum(dy * cat((-x2, x1), dim=-1), dims)$$

  （2）interleave模式（mode等于1）：

  $$dy1, dy2 = dy[..., :: 2], dy[..., 1 :: 2]$$ $$cos1, cos2 = cos[..., :: 2], cos[..., 1 :: 2]$$ $$sin1, sin2 = sin[..., :: 2], sin[..., 1 :: 2]$$ $$x1, x2 = x[..., :: 2], x[..., 1 :: 2]$$ $$dx = stack((cos1 * dy1 + sin2 * dy2, cos2 * dy2 - sin1 * dy1), dim=-1).reshape(dy.shape)$$ $$dcos = sum(dy * x, dims)$$ $$dsin = sum(dy * stack((-x2, x1), dim=-1).reshape(dy.shape), dims)$$

  （3）quarter模式（mode等于2）：

  $$dy1, dy2, dy3, dy4 = chunk(dy, chunks=4, dim=-1)$$ $$cos1, cos2, cos3, cos4 = chunk(cos, chunks=4, dim=-1)$$ $$sin1, sin2, sin3, sin4 = chunk(sin, chunks=4, dim=-1)$$ $$x1, x2, x3, x4 = chunk(x, chunks=4, dim=-1)$$ $$dx = cat((cos1 * dy1 + sin2 * dy2, cos2 * dy2 - sin1 * dy1, cos3 * dy3 + sin4 * dy4, cos4 * dy4 - sin3 * dy3), dim=-1)$$ $$dcos = sum(dy * x, dims)$$ $$dsin = sum(dy * cat((-x2, x1, -x4, x3), dim=-1), dims)$$

  （4）interleave-half模式（mode等于3）：

  $$dy1, dy2 = chunk(dy, chunks=2, dim=-1)$$ $$cos1, cos2 = chunk(cos, chunks=2, dim=-1)$$ $$sin1, sin2 = chunk(sin, chunks=2, dim=-1)$$ $$x1, x2 = x[..., :: 2], x[..., 1 :: 2]$$ $$dx = stack((cos1 * dy1 + sin2 * dy2, cos2 * dy2 - sin1 * dy1), dim=-1).reshape(dy.shape)$$ $$dcos = sum(dy * cat((x1, x2), dim=-1), dims)$$ $$dsin = sum(dy * cat((-x2, x1), dim=-1), dims)$$

函数原型

每个算子分为，必须先调用“aclnnRotaryPositionEmbeddingGradGetWorkspaceSize”接口获取入参并根据流程计算所需workspace大小，再调用“aclnnRotaryPositionEmbeddingGrad”接口执行计算。

aclnnRotaryPositionEmbeddingGradGetWorkspaceSize

• 参数说明

  [object Object]
  • 参数mode约束：
    • [object Object]Atlas A3 训练系列产品/Atlas A3 推理系列产品[object Object]、[object Object]Atlas A2 训练系列产品/Atlas A2 推理系列产品[object Object]：0=half，1=interleave。

• 返回值：

  返回aclnnStatus状态码，具体参见。

  第一段接口完成入参校验，出现以下场景时报错：

  [object Object]

aclnnRotaryPositionEmbeddingGrad

• 参数说明：

  [object Object]

• 返回值：

  返回aclnnStatus状态码，具体参见。

约束说明

• 确定性计算：

  • aclnnRotaryPositionEmbeddingGrad默认确定性实现。

  • [object Object]Atlas A3 训练系列产品/Atlas A3 推理系列产品[object Object]、[object Object]Atlas A2 训练系列产品/Atlas A2 推理系列产品[object Object]：

    • 输入张量dy支持BNSD、BSND、SBND、TND排布。
    • 输入张量dy、cos、sin、xOptional及输出张量dxOut、dcosOut、dsinOut的D维度大小必须相同，满足D<896，且必须为2的倍数。
    • 输入张量dy、xOptional和输出张量dxOut的shape必须完全相同。
    • 输入张量cos、sin和输出张量dcosOut、dsinOut的shape必须完全相同，且cos和sin的shape必须完全相同。
    • half模式：
      • B，N < 1000；当需要计算dsin、dcos时，B * N <= 1024
      • 当dy为BNSD时，cos、sin支持11SD、B1SD、BNSD；当cos、sin为B1SD时需满足B < S
      • 当dy为BSND时，cos、sin支持1S1D、BS1D、BSND；当cos、sin为BS1D时需满足B < S
      • 当dy为SBND时，cos、sin支持S11D、SB1D、SBND
      • 当dy为TND时，cos、sin支持T1D、TND
    • interleave模式：
      • B * N < 1000（N < 1000当dy为TND时）
      • 当dy为BNSD时，cos、sin支持11SD
      • 当dy为BSND时，cos、sin支持1S1D
      • 当dy为SBND时，cos、sin支持S11D
      • 当dy为TND时，cos、sin支持T1D

调用示例

示例代码如下，仅供参考，具体编译和执行过程请参考。