aclnnDenseLightningIndexerSoftmaxLse

产品支持情况

[object Object]undefined

功能说明

• 算子功能：DenseLightningIndexerSoftmaxLse算子是DenseLightningIndexerGradKlLoss算子计算Softmax输入的一个分支算子。

• 计算公式：

$$\text{res}=\text{AttentionMask}\left(\text{ReduceSum}\left(W\odot\text{ReLU}\left(Q_{index}@K_{index}^T\right)\right)\right)$$ $$\text{maxIndex}=\text{max}\left(res\right)$$ $$\text{sumIndex}=\text{ReduceSum}\left(\text{exp}\left(res-maxIndex\right)\right)$$

maxIndex，sumIndex作为输出传递给算子DenseLightningIndexerGradKlLoss作为输入计算Softmax使用。

函数原型

算子执行接口为两段式接口，必须先调用“aclnnDenseLightningIndexerSoftmaxLseGetWorkspaceSize”接口获取入参并根据计算流程计算所需workspace大小，再调用“aclnnDenseLightningIndexerSoftmaxLse”接口执行计算。

aclnnDenseLightningIndexerSoftmaxLse

• 参数说明:

  [object Object]

• 返回值：

  返回aclnnStatus状态码，具体参见。

  第一段接口完成入参校验，出现以下场景时报错：

  [object Object]

aclnnDenseLightningIndexerSoftmaxLse

• 参数说明：

  [object Object]

• 返回值：

  返回aclnnStatus状态码，具体参见。

约束说明

• 确定性计算： aclnnDenseLightningIndexerSoftmaxLse默认确定性实现。

• 公共约束

  • 入参为空的场景处理：
    • queryIndex为空Tensor：直接返回。
    • SFAG公共约束里入参为空的场景和FAG保持一致。
  [object Object]

• 规格约束

  [object Object]

• 典型值

  [object Object]

调用示例

示例代码如下，仅供参考，具体编译和执行过程请参考。