aclnnMaskedSoftmaxWithRelPosBias

产品支持情况

[object Object]undefined

功能说明

• 接口功能：替换在swinTransformer中使用window attention计算softmax的部分。

• 计算公式：

$$out = \operatorname{softmax}(scaleValue * x + attenMaskOptional + relativePosBias)$$

函数原型

每个算子分为，必须先调用“aclnnMaskedSoftmaxWithRelPosBiasGetWorkspaceSize”接口获取计算所需workspace大小以及包含了算子计算流程的执行器，再调用“aclnnMaskedSoftmaxWithRelPosBias”接口执行计算。

aclnnMaskedSoftmaxWithRelPosBiasGetWorkspaceSize

• 参数说明：

  [object Object]
  • [object Object]Atlas 推理系列产品[object Object]：不支持BFLOAT16。

• 返回值：

  [object Object]

aclnnMaskedSoftmaxWithRelPosBias

• 参数说明：

  [object Object]

• 返回值：

  aclnnStatus：返回状态码，具体参见。

约束说明

• 确定性计算：

  • aclnnMaskedSoftmaxWithRelPosBias默认确定性实现。

• [object Object]Atlas 推理系列产品[object Object]：不支持入参x的最后一个维度S2非32Byte对齐的场景。

• 需要保证传递给算子的shape所需要的ub空间小于AI处理器版本总ub的大小，该算子所需要的ub空间的总大小minComputeSize如下，其中s2AlignedSize 表示S2对齐32Byte后的结果。

  • 对于attenMaskOptional存在的情况：
    [object Object]
  • 对于attenMaskOptional不存在的情况：
    [object Object]
  • [object Object]Atlas A2 训练系列产品/Atlas A2 推理系列产品[object Object]、[object Object]Atlas A3 训练系列产品/Atlas A3 推理系列产品[object Object]：如果为BFLOAT16类型，其与FLOAT16类型的公式保持一致。

调用示例

示例代码如下，仅供参考，具体编译和执行过程请参考。