- 接口功能:MoE的routing计算,根据的计算结果做routing处理。
- 计算公式: 将输入shape为[NUM_ROWS, K]的expertIdx展平为一行做排序,其中NUM_ROWS为输入token个数,K为token选择的专家个数。
每个算子分为,必须先调用 “aclnnMoeInitRoutingGetWorkspaceSize”接口获取计算所需workspace大小以及包含了算子计算流程的执行器,再调用“aclnnMoeInitRouting”接口执行计算。
[object Object]
[object Object]
- 确定性计算:
- aclnnMoeInitRouting默认确定性实现。
- expertIdx内的元素的值需要大于-2**24,不超过2**24,否则可能会存在精度问题
[object Object]