aclnnMoeTokenUnpermute

产品支持情况

[object Object]undefined

功能说明

• 接口功能: 根据sortedIndices存储的下标，获取permutedTokens中存储的输入数据；如果存在probs数据，permutedTokens会与probs相乘；最后进行累加求和，并输出计算结果。

• 计算公式：

  • probs非None计算公式如下：

    $$T[k] = T[S[k]]$$ $$T[k] = T[k] * P[i][j]$$ $$O[i] = \sum_{k=i*topK}^{(i+1)*topK - 1 } T[k]$$

    其中$i \in {0,1,...,tokens-1}$；$j \in {0,1,...,topK-1}$；$k \in {0,1,...,tokens*topK-1}$；T表示permutedTokens；S表示sortedIndices；P表示probs；O表示out；topK表示topK_num；tokens表示tokens_num。

  • probs为None时，此时topK_num=1，计算公式如下：

    $$T[i] = T[S[i]]$$ $$O[i] = T[i]$$

    其中 $i \in {0,1,...,tokens-1}$；T表示permutedTokens；S表示sortedIndices；O表示out；tokens表示tokens_num。

函数原型

每个算子分为，必须先调用“aclnnMoeTokenUnpermuteGetWorkspaceSize”接口获取计算所需workspace大小以及包含了算子计算流程的执行器，再调用“aclnnMoeTokenUnpermute”接口执行计算。

aclnnMoeTokenUnpermuteGetWorkspaceSize

• 参数说明：

  [object Object]

• 返回值：

  aclnnStatus：返回状态码，具体参见。

  第一段接口完成入参校验，出现以下场景时报错：

  [object Object]

aclnnMoeTokenUnpermute

• 参数说明：

  [object Object]

• 返回值：

  返回aclnnStatus状态码，具体参见。

约束说明

• 确定性计算：

  • aclnnMoeTokenUnpermute默认确定性实现。

• [object Object]Atlas A2 训练系列产品/Atlas A2 推理系列产品[object Object]、[object Object]Atlas A3 训练系列产品/Atlas A3 推理系列产品[object Object]：topK_num <= 512。

• [object Object]Atlas 推理系列产品[object Object]：

  • permutedTokens与probsOptional支持的数据类型为FLOAT16、FLOAT32。
  • topK_num <= 512。
  • hidden_size是128的倍数且小于10240。

调用示例

示例代码如下，仅供参考，具体编译和执行过程请参考。