昇腾社区首页
中文
注册
开发者
下载

aclnnMoeFinalizeRouting

产品支持情况

[object Object]undefined

功能说明

  • 接口功能:MoE计算中,最后处理合并MoE FFN的输出结果。
  • 计算公式:expertid=expandedExpertIdx[i,k]expertid=expandedExpertIdx[i,k] out(i,j)=x1i,j+x2Optionali,j+k=0K(scalesi,k(expandedXexpandedRowIdxi+knumrows,j+biasexpertid,j))out(i,j)=x1_{i,j}+x2Optional_{i,j}+\sum_{k=0}^{K}(scales_{i,k}*(expandedX_{expandedRowIdx_{i+k*num_rows},j}+bias_{expertid,j}))

函数原型

每个算子分为,必须先调用“aclnnMoeFinalizeRoutingGetWorkspaceSize”接口获取计算所需workspace大小以及包含了算子计算流程的执行器,再调用“aclnnMoeFinalizeRouting”接口执行计算。

[object Object]
[object Object]

aclnnMoeFinalizeRoutingGetWorkspaceSize```

  • 参数说明:

    [object Object]
  • 返回值:

    返回aclnnStatus状态码,具体参见

    第一段接口完成入参校验,出现以下场景时报错:

    [object Object]

aclnnMoeFinalizeRouting

  • 参数说明:

    [object Object]
  • 返回值:

    返回aclnnStatus状态码,具体参见

约束说明

  • 确定性计算:
    • aclnnMoeFinalizeRouting默认确定性实现。

调用示例

示例代码如下,仅供参考,具体编译和执行过程请参考

[object Object]