aclnnMoeTokenUnpermuteWithEp

产品支持情况

产品	是否支持
[object Object]Atlas A3 训练系列产品/Atlas A3 推理系列产品[object Object]	√
[object Object]Atlas A2 训练系列产品/Atlas 800I A2 推理产品/A200I A2 Box 异构组件[object Object]	√
[object Object]Atlas 200I/500 A2 推理产品[object Object]	×
[object Object]Atlas 推理系列产品 [object Object]	×
[object Object]Atlas 训练系列产品[object Object]	×

功能说明

算子功能： 根据sortedIndices存储的下标位置，去获取permutedTokens中的输入数据与probs相乘，并进行合并累加。

计算公式：

sortedIndices = sortedIndices[rangeOptional[0]<=i<rangeOptional[1]]

（1）probs非None计算公式如下，其中 $i \in {0, 1, 2, ..., num\_tokens - 1}$ ， $j \in {0, 1, 2, ..., topK\_num - 1}$ ， $k \in {0, 1, 2, ..., num\_tokens * topK\_num}$ ：

permutedTokens = permutedTokens.indexSelect(0, sortedIndices)

permutedTokens_{k} = permutedTokens_{k} * probs_{i,j}

out_{i} = \sum_{k=i*topK\_num}^{(i+1)*topK\_num - 1 } permutedTokens_{k}

（2）probs为None计算公式如下，其中 $i \in {0, 1, 2, ..., num\_tokens - 1}$ ， $j \in {0, 1, 2, ..., topK\_num - 1}$ ：

permutedTokens = permutedTokens.indexSelect(0, sortedIndices)

out_{i} = \sum_{k=i*topK\_num}^{(i+1)*topK\_num - 1 } permutedTokens_{k}

函数原型

每个算子分为undefined，必须先调用“aclnnMoeTokenUnpermuteWithEpGetWorkspaceSize”接口获取计算所需workspace大小以及包含了算子计算流程的执行器，再调用“aclnnMoeTokenUnpermuteWithEp”接口执行计算。

aclnnStatus aclnnMoeTokenUnpermuteWithEpGetWorkspaceSize(const aclTensor *permutedTokens, const aclTensor *sortedIndices, const aclTensor *probsOptional, int64_t numTopk, const aclIntArray *rangeOptional, bool paddedMode, const aclIntArray *restoreShapeOptional, const aclTensor *out, uint64_t *workspaceSize, aclOpExecutor **executor)
aclnnStatus aclnnMoeTokenUnpermuteWithEp(void *workspace, uint64_t workspaceSize, aclOpExecutor *executor, aclrtStream stream)

aclnnMoeTokenUnpermuteWithEpGetWorkspaceSize

参数说明：
- permutedTokens（aclTensor *，计算输入）：表示经过扩展并排序过的tokens，公式中的permutedTokens，Device侧的aclTensor。shape支持2D维度，shape为（（rangeOptional[1] - rangeOptional[0]）*topK_num，hidden_size）。数据类型支持BFLOAT16、FLOAT16、FLOAT32，undefined支持ND。支持undefined，不支持空Tensor。
- sortedIndices（aclTensor *，计算输入）：表示需要计算的数据在permutedTokens中的位置，公式中的sortedIndices，Device侧的aclTensor。shape支持1D维度，shape为（num_tokens * topK_num），num_tokens为原tokens的数目。要求元素值大于等于0小于2134372523。数据类型支持INT32，undefined支持ND。支持undefined，不支持空Tensor。
- probsOptional（aclTensor *，计算输入）：表示输入tokens对应的专家概率，Device侧的aclTensor。可选输入，传入非空并合法的Tensor时，permutedTokens中的输入数据与probsOptional相乘；传入空时，permutedTokens中的输入数据不进行乘法。shape支持2D维度，shape为（num_tokens，topK_num），num_tokens为原tokens的数目。数据类型支持BFLOAT16、FLOAT16、FLOAT32，undefined支持ND。支持undefined。
- numTopk（int64_t，计算输入）：被选中的专家个数。
- rangeOptional（aclIntArray *，计算输入）：ep切分的有效范围，size为2。为空时，忽略numTopk，执行逻辑回退到undefined。
- paddedMode（bool，计算输入）：true表示开启paddedMode，false表示关闭paddedMode，paddedMode解释见restoreShapeOptional参数。目前仅支持false。
- restoreShapeOptional（aclIntArray *，计算输入）：paddedMode=true时生效，否则不会对其进行操作。paddedMode=true时，out的shape将表征为restoreShape。目前仅支持nullptr。
- out（aclTensor *，计算输出）：表示permutedTokens反重排的输出结果，公式中的out，Device侧的aclTensor。shape支持2D维度，paddedMode=false时，shape为（num_tokens，hidden_size），paddedMode=true时，shape与restoreShapeOptional保持一致。数据类型支持BFLOAT16、FLOAT16、FLOAT32，undefined支持ND。
- workspaceSize（uint64_t *，出参）：返回需要在Device侧申请的workspace大小。
- executor（aclOpExecutor **，出参）：返回op执行器，包含了算子计算流程。
返回值：

aclnnStatus：返回状态码，具体参见undefined。

[object Object]

aclnnMoeTokenUnpermuteWithEp

参数说明：
- workspace（void *，入参）：在Device侧申请的workspace内存地址。
- workspaceSize（uint64_t，入参）：在Device侧申请的workspace大小，由第一段接口aclnnMoeTokenUnpermuteWithEpGetWorkspaceSize获取。
- executor（aclOpExecutor *，入参）：op执行器，包含了算子计算流程。
- stream（aclrtStream，入参）：指定执行任务的Stream。
返回值：

aclnnStatus：返回状态码，具体参见undefined。

约束说明

topK_num <= 512。
不支持paddedMode为True。
当rangeOptional为空时，忽略numTopk，执行逻辑回退到undefined。

调用示例

示例代码如下，仅供参考，具体编译和执行过程请参考undefined。

[object Object]