- 接口功能:MoE的permute计算,根据索引indices将tokens广播并排序。
- 扩展能力:相比
[object Object],本接口新增[object Object]和[object Object],用于Ascend 950平台下对接[object Object],支持MXFP8和MXFP4量化输出。 - 平台行为:
- Ascend 950:调用
[object Object],支持[object Object]。 - 非Ascend 950:量化参数静默忽略,按非量化兼容路径处理。
- Ascend 950:调用
每个算子分为,必须先调用“aclnnMoeTokenPermuteV2GetWorkspaceSize”接口获取计算所需workspace大小以及包含了算子计算流程的执行器,再调用“aclnnMoeTokenPermuteV2”接口执行计算。
[object Object]
[object Object]
先计算:
[object Object]
各模式输出shape如下:
其中:
[object Object]
常见错误场景:
[object Object]要求元素个数小于[object Object],值大于等于[object Object]且小于[object Object]。[object Object]数据类型为INT8时,[object Object]元素个数不大于[object Object],[object Object]不大于[object Object]。- 不支持
[object Object]。 - Ascend 950量化模式下,
[object Object]dtype与[object Object]量化输入类型一致,当前支持FLOAT16、BFLOAT16。 [object Object]时,[object Object]隐藏维[object Object]需要为偶数,输出[object Object]隐藏维为[object Object]。- 非Ascend 950平台下,
[object Object]采用静默忽略策略,实际按非量化兼容路径处理。
下面示例展示非量化调用,量化调用时需要按
[object Object]调整[object Object]和[object Object]的数据类型及shape。
[object Object]