[object Object]

[object Object][object Object]undefined[object Object]

• 接口功能: 根据sortedIndices存储的下标，获取permutedTokens中存储的输入数据；如果存在probs数据，permutedTokens会与probs相乘；最后进行累加求和，并输出计算结果。

• 计算公式：

  • probs非None计算公式如下：

    $$T[k] = T[S[k]]$$ $$T[k] = T[k] * P[i][j]$$ $$O[i] = \sum_{k=i*topK}^{(i+1)*topK - 1 } T[k]$$

    其中$i \in {0,1,...,tokens-1}$；$j \in {0,1,...,topK-1}$；$k \in {0,1,...,tokens*topK-1}$；T表示permutedTokens；S表示sortedIndices；P表示probs；O表示out；topK表示topK_num；tokens表示tokens_num。

  • probs为None时，此时topK_num=1，计算公式如下：

    $$T[i] = T[S[i]]$$ $$O[i] = T[i]$$

    其中 $i \in {0,1,...,tokens-1}$；T表示permutedTokens；S表示sortedIndices；O表示out；tokens表示tokens_num。

[object Object]

每个算子分为，必须先调用“aclnnMoeTokenUnpermuteGetWorkspaceSize”接口获取计算所需workspace大小以及包含了算子计算流程的执行器，再调用“aclnnMoeTokenUnpermute”接口执行计算。

[object Object]

• 参数说明：

  [object Object]

• 返回值：

  aclnnStatus：返回状态码，具体参见。

  第一段接口完成入参校验，出现以下场景时报错：

  [object Object]

[object Object]

• 参数说明：

  [object Object]

• 返回值：

  返回aclnnStatus状态码，具体参见。

[object Object]

• 确定性计算：

  • aclnnMoeTokenUnpermute默认确定性实现。

• [object Object]Atlas A2 训练系列产品/Atlas A2 推理系列产品[object Object]、[object Object]Atlas A3 训练系列产品/Atlas A3 推理系列产品[object Object]：topK_num <= 512。

• Atlas 350 加速卡： 在调用本接口时，框架内部会转调用接口，如果出现参数错误提示，请参考以下参数映射关系：

  • permutedTokens输入等同于aclnnMoeFinalizeRoutingV2接口的expandedX输入。
  • sortedIndices输入等同于aclnnMoeFinalizeRoutingV2接口的expandedRowIdx输入。
  • probsOptional输入等同于aclnnMoeFinalizeRoutingV2接口的scalesOptional输入。
  • paddedMode输入等同于aclnnMoeFinalizeRoutingV2接口的dropPadMode输入。
  • out输出等同于aclnnMoeFinalizeRoutingV2接口的out输出。

• [object Object]Atlas 推理系列产品[object Object]：

  • permutedTokens与probsOptional支持的数据类型为FLOAT16、FLOAT32。
  • topK_num <= 512。
  • hidden_size是128的倍数且小于10240。

[object Object]

示例代码如下，仅供参考，具体编译和执行过程请参考。