开发者
下载
[object Object]

[object Object][object Object]undefined
[object Object]
  • 接口功能:MoE的permute计算,根据索引indices将tokens广播并排序。
  • 扩展能力:相比[object Object],本接口新增[object Object][object Object],用于Ascend 950平台下对接[object Object],支持MXFP8和MXFP4量化输出。
  • 平台行为
    • Ascend 950:调用[object Object],支持[object Object]
    • 非Ascend 950:量化参数静默忽略,按非量化兼容路径处理。
[object Object]

每个算子分为,必须先调用“aclnnMoeTokenPermuteV2GetWorkspaceSize”接口获取计算所需workspace大小以及包含了算子计算流程的执行器,再调用“aclnnMoeTokenPermuteV2”接口执行计算。

[object Object]
[object Object]
[object Object][object Object]undefined
[object Object]

先计算:

[object Object]

各模式输出shape如下:

[object Object]undefined

其中:

[object Object]
[object Object]

aclnnStatus:返回状态码,具体参见

常见错误场景:

[object Object]undefined
[object Object][object Object]undefined
[object Object]
  • [object Object]要求元素个数小于[object Object],值大于等于[object Object]且小于[object Object]
  • [object Object]数据类型为INT8时,[object Object]元素个数不大于[object Object][object Object]不大于[object Object]
  • 不支持[object Object]
  • Ascend 950量化模式下,[object Object] dtype与[object Object]量化输入类型一致,当前支持FLOAT16、BFLOAT16。
  • [object Object]时,[object Object]隐藏维[object Object]需要为偶数,输出[object Object]隐藏维为[object Object]
  • 非Ascend 950平台下,[object Object]采用静默忽略策略,实际按非量化兼容路径处理。
[object Object]

下面示例展示非量化调用,量化调用时需要按 [object Object]调整[object Object][object Object]的数据类型及shape。

[object Object]