[object Object]

[object Object][object Object]undefined[object Object]

• 接口功能：对token数据进行量化（可选），当存在TP域通信时，先进行EP（Expert Parallelism）域的AllToAllV通信，再进行TP（Tensor Parallelism）域的AllGatherV通信；当不存在TP域通信时，进行EP（Expert Parallelism）域的AllToAllV通信。

  相较于[object Object]接口，该接口变更如下：

  1. 输出了更详细的token信息辅助CombineV2系列算子高效地进行全卡同步，因此原接口中shape为[object Object]的[object Object]出参替换为shape为[object Object]的[object Object]参数；
  2. 新增[object Object]入参，代替用于控制分层算法的[object Object]和[object Object]环境变量。

  详细说明请参考以下参数说明。

• 计算公式：

  • 情形1：如果quantMode=0（非量化场景）：
  $$allToAllXOut = AllToAllV(X)\\ expandXOut = \begin{cases} AllToAllV(X), & 无TP通信域 \\ AllGatherV(allToAllXOut), & 有TP通信域 \\ \end{cases}$$
  • 情形2：如果quantMode=1（静态量化场景）：
  $$xFp32 = CastToFp32(X) \times scales \\ quantOut = Cast(xFp32，dstType) \\ allToAllXOut = AllToAllV(quantOut)\\ expandXOut = \begin{cases} AllToAllV(quantOut), & 无TP通信域 \\ AllGatherV(allToAllXOut), & 有TP通信域 \\ \end{cases}$$
  • 情形3：如果quantMode=2（pertoken动态量化场景）：
  $$xFp32 = CastToFp32(X) \times scales \\ dynamicScales = dstTypeMax/Max(Abs(xFp32)) \\ quantOut = CastToInt8(xFp32 \times dynamicScales) \\ allToAllXOut = AllToAllV(quantOut) \\ allToAllDynamicScalesOut = AllToAllV(1.0/dynamicScales) \\ expandXOut = \begin{cases} AllToAllV(quantOut), & 无TP通信域 \\ AllGatherV(allToAllXOut), & 有TP通信域 \\ \end{cases} \\ dynamicScalesOut = \begin{cases} allToAllDynamicScalesOut, & 无TP通信域 \\ AllGatherV(allToAllDynamicScalesOut), & 有TP通信域 \\ \end{cases}$$
  • 情形4：如果quantMode=3（pertile动态量化场景）：
  $$xFp32 = CastToFp32(X) \times scales \\ dynamicScales = dstTypeMax/Max(Abs(xFp32)) \\ quantOut = CastToInt8(xFp32 \times dynamicScales) \\ allToAllXOut = AllToAllV(quantOut) \\ allToAllDynamicScalesOut = AllToAllV(1.0/dynamicScales) \\ expandXOut = \begin{cases} AllToAllV(quantOut), & 无TP通信域 \\ AllGatherV(allToAllXOut), & 有TP通信域 \\ \end{cases} \\ dynamicScalesOut = \begin{cases} allToAllDynamicScalesOut, & 无TP通信域 \\ AllGatherV(allToAllDynamicScalesOut), & 有TP通信域 \\ \end{cases}$$
  • 情形5：如果quantMode=4（mxfp8量化场景）：
  $$sharedExp = Floor(log_2(max(x))) - emax \\ dynamicScales = 2^{sharedExp} \\ quantOut = CastToFp8(X / dynamicScales) \\ allToAllXOut = AllToAllV(quantOut) \\ allToAllDynamicScalesOut = AllToAllV(1.0 / dynamicScales) \\ expandXOut = \begin{cases} AllToAllV(quantOut), & 无TP通信域 \\ AllGatherV(allToAllXOut), & 有TP通信域 \\ \end{cases} \\ dynamicScalesOut = \begin{cases} allToAllDynamicScalesOut, & 无TP通信域 \\ AllGatherV(allToAllDynamicScalesOut), & 有TP通信域 \\ \end{cases}$$

  其中，$emax$表示该类型最大正规数对应的指数部分的值。

• [object Object]Atlas A2 训练系列产品/Atlas A2 推理系列产品[object Object]：该接口必须与[object Object]配套使用。

• [object Object]Atlas A3 训练系列产品/Atlas A3 推理系列产品[object Object]、Atlas 350 加速卡：：该接口必须与[object Object]或[object Object]配套使用。

[object Object]

[object Object]

每个算子分为两段式接口，必须先调用 “aclnnMoeDistributeDispatchV2GetWorkspaceSize”接口获取计算所需workspace大小以及包含了算子计算流程的执行器，再调用“aclnnMoeDistributeDispatchV2”接口执行计算。

[object Object]

• 参数说明

  [object Object]

  • [object Object]Atlas A2 训练系列产品/Atlas A2 推理系列产品[object Object]：

    • [object Object] 支持nullptr、""、"fullmesh"、"hierarchy"；推荐配置"hierarchy"并搭配≥25.0.RC1.1版本驱动；nullptr和""依HCCL环境变量选择算法（不推荐）；"fullmesh"通过RDMA直传token；"hierarchy"经跨机、机内两次发送优化通信。
    • [object Object]为"hierarchy"或HCCL_INTRA_PCIE_ENABLE=1且HCCL_INTRA_ROCE_ENABLE=0时，scalesOptional 需传nullptr。
    • [object Object] 依commAlg取值，"fullmesh"要求为1D Tensor，shape为(BS, )；true需排在false前（例：{true, false, true}非法）；"hierarchy"当前版本不支持，传空指针即可。
    • [object Object] 要求为2D Tensor，shape为(BS, K)。
    • [object Object] 依commAlg取值，"fullmesh"支持2、3、4、5、6、7、8、16、32、64、128、192、256、384；"hierarchy"支持16、32、64。
    • [object Object] 取值范围(0, 512]。
    • [object Object] 当前版本不支持，传空字符即可。
    • [object Object]、[object Object]、[object Object]、[object Object]、[object Object] 当前版本不支持，传0即可。
    • [object Object] 的shape为(moeExpertNum + 2 * globalBS * K * serverNum,)（前moeExpertNum个为接收token数，剩余为通信前reduce相关信息）。
    • 当前不支持TP域通信。
    • [object Object]要求为1D Tensor，shape为(A,)。
    • [object Object]支持0（非量化）、2（动态量化）。

  • [object Object]Atlas A3 训练系列产品/Atlas A3 推理系列产品[object Object]：

    • [object Object]当前版本不支持，传空指针即可。
    • [object Object]要求为1D或2D Tensor（1D时shape为(BS, )，2D时shape为(BS, K)）；1D时true需排在false前，2D时token对应K个值全为false则不参与通信。
    • [object Object]当前版本不支持，传空指针即可。
    • [object Object]取值范围[2, 768]。
    • [object Object]取值范围(0, 1024]。
    • [object Object]字符串长度范围为[0, 128)，不能和groupEp相同，仅在无tp域通信时支持传空。
    • [object Object]取值范围[0, 2]，0和1表示无TP域通信，有TP域通信时仅支持2。
    • [object Object]取值范围[0, 1]，同一个TP通信域中各卡的tpRankId不重复；无TP域通信时传0即可。
    • [object Object]当前仅支持传0，表示共享专家卡排在MoE专家卡前面。
    • [object Object]当前取值范围[0, 4]。
    • [object Object]取值范围[0, epWorldSize)；为0时需满足sharedExpertNum为0或1，不为0时需满足sharedExpertRankNum % sharedExpertNum = 0。
    • [object Object]的shape为(epWorldSize * max(tpWorldSize, 1) * localExpertNum,)。
    • 有TP域通信时[object Object]为1D shape Tensor，shape为(tpWorldSize,)。
    • [object Object]当前版本不支持该输出。
    • [object Object]支持0（非量化）、2（动态量化）。

  • Atlas 350 加速卡：

    • [object Object]当前版本不支持，传空指针即可。
    • [object Object]要求为1D或2D Tensor（1D时shape为(BS, )，2D时shape为(BS, K)）；1D时true需排在false前（例：{true, false, true}非法），2D时token对应K个值全为false则不参与通信。
    • [object Object]当前版本不支持，传空指针即可。
    • [object Object]取值范围[2, 768]。
    • [object Object]取值范围(0, 1024]。
    • [object Object]当前版本不支持，传空字符即可。
    • [object Object]当前版本不支持，传0即可。
    • [object Object]当前版本不支持，传0即可。
    • [object Object]当前仅支持传0，表示共享专家卡排在MoE专家卡前面。
    • [object Object]当前取值范围[0, 4]。
    • [object Object]取值范围[0, epWorldSize)；为0时需满足sharedExpertNum为0或1，不为0时需满足sharedExpertRankNum % sharedExpertNum = 0。
    • [object Object]的shape为(epWorldSize * max(tpWorldSize, 1) * localExpertNum,)。
    • [object Object]当前版本不支持该输出。
    • [object Object]当前版本不支持该输出。
    • [object Object]支持0（非量化）、1（静态量化）、2（pertoken动态量化）、3（pergroup动态量化）、4（mxfp8动态量化）。

• 返回值

  aclnnStatus：返回状态码，具体参见。

  第一段接口完成入参校验，出现以下场景时报错：

  [object Object]

[object Object]

• 参数说明

  [object Object]

• 返回值

返回aclnnStatus状态码，具体参见。

[object Object]

• 确定性计算：

  • aclnnMoeDistributeDispatchV2默认确定性实现。

• 驱动约束：

  • 算子通信域各节点的驱动版本应当相同。

• 接口配套约束：

  • [object Object]接口与CombineV2系列算子接口必须配套使用，具体参考。
  • 在不同产品型号、不同通信算法或不同版本中，[object Object]的Tensor输出[object Object]、[object Object]、[object Object]、[object Object]中的元素值可能不同，使用时直接将上述Tensor传给CombineV2系列算子对应参数即可，模型其他业务逻辑不应对其存在依赖。

• 参数一致性约束：

  • 调用接口过程中使用的[object Object]、[object Object]、[object Object]、[object Object]、[object Object]、[object Object]、[object Object]、[object Object]、[object Object]、[object Object]参数及[object Object]取值所有卡需保持一致，网络中不同层中也需保持一致，且和CombineV2系列算子对应参数也保持一致。

• 产品特定约束：

  • [object Object]Atlas A3 训练系列产品/Atlas A3 推理系列产品[object Object]：该场景下单卡包含双DIE（简称为“晶粒”或“裸片”），因此参数说明里的“本卡”均表示单DIE。

• Shape变量约束：

  [object Object]undefined

• quantMode相关约束：

  • [object Object]Atlas A2 训练系列产品/Atlas A2 推理系列产品[object Object]：
    • [object Object]取值为0时，表示非量化场景，输入[object Object]传空指针。
    • [object Object]取值为2时，表示pertoken动态量化场景，[object Object]的数据类型支持[object Object]。
      • 输入[object Object]可传入空指针。
      • 若输入[object Object]传入有效数据时，其shape为 ([object Object], [object Object])。
      • 输出[object Object]shape为 [object Object]
  • [object Object]Atlas A3 训练系列产品/Atlas A3 推理系列产品[object Object]：
    • [object Object]取值为0时，表示非量化场景，输入[object Object]传空指针。
    • [object Object]取值为2时，表示pertoken动态量化场景，[object Object]的数据类型支持[object Object]。
      • 输入[object Object]可传入空指针。
      • 若输入[object Object]传入有效数据且存在共享专家卡时，其shape为 ([object Object] + [object Object], [object Object])。
      • 若输入[object Object]传入有效数据且不存在共享专家卡时，其shape为 ([object Object], [object Object])。
      • 输出[object Object]shape为 [object Object]
  • Atlas 350 加速卡：
    • [object Object]取值为0时，表示非量化场景，[object Object]的数据类型支持[object Object]、[object Object]，输入[object Object]必须传入空指针。
    • [object Object]取值为1时，表示静态量化场景，[object Object]的数据类型支持[object Object]、[object Object]。
      • [object Object]的数据类型为[object Object]时有如下场景：
        • 输入的[object Object]代表量化系数，shape为 (1, )；
        • 输入的[object Object]表示每个专家共享的平滑权重时，shape为 ([object Object]，)；
        • 输入的[object Object]代表融了每个专家的平滑权重的量化系数时，若有共享专家卡，其shape为 ([object Object] + [object Object], [object Object])，若无共享专家卡，其shape为 ([object Object], [object Object])。
      • [object Object]的数据类型为[object Object]时，[object Object]的shape必须为 (1, )。
    • [object Object]取值为2时，表示pertoken动态量化场景，[object Object]的数据类型支持[object Object]、[object Object]、[object Object]。
      • 输入[object Object]可传入空指针。
      • 若输入[object Object]传入有效数据且存在共享专家卡时，其shape为 ([object Object] + [object Object], [object Object])。
      • 若输入[object Object]传入有效数据且不存在共享专家卡时，其shape为 ([object Object], [object Object])。
      • 输出[object Object]shape为 [object Object]
    • [object Object]取值为3时，表示pergroup动态量化场景，expandX的数据类型支持[object Object]、[object Object]。
      • 输入[object Object]可传入空指针。
      • 若输入[object Object]传入有效数据且存在共享专家卡时，其shape为 ([object Object] + [object Object], [object Object])。
      • 若输入[object Object]传入有效数据且不存在共享专家卡时，其shape为 ([object Object], [object Object])。
      • 输出[object Object]shape为 [object Object]，其中[object Object]
    • [object Object]取值为4时，表示mxfp8量化场景，[object Object]的数据类型支持[object Object]、[object Object]，输入[object Object]必须传入空指针。输出[object Object]shape为 [object Object]且，其中[object Object]

• 环境变量约束：

  • HCCL_BUFFSIZE： 调用本接口前需检查[object Object]环境变量取值是否合理，该环境变量表示单个通信域占用内存大小，单位MB，不配置时默认为200MB： - [object Object]Atlas A2 训练系列产品/Atlas A2 推理系列产品[object Object]： - commAlg为""或nullptr：依HCCL环境变量选择“fullmesh”或“hierarchy”公式。 - commAlg为"fullmesh"：设置大小要求 (≥ 2 * (BS * epWorldSize * min(localExpertNum, K) * H * sizeof(uint16) + 2MB))。 - commAlg为"hierarchy"：设置大小要求 (≥ ([object Object] + [object Object] / 4) * Align512([object Object] * ([object Object] * 2 + 16 * Align8 ([object Object]))) * 1B + 8MB，其中Align8(x) = ((x + 8 - 1) / 8) * 8，Align512(x) = ((x + 512 - 1) / 512) * 512)。 - [object Object]Atlas A3 训练系列产品/Atlas A3 推理系列产品[object Object]： - ep通信域内：设置大小要求 (≥ 2) 且满足 (≥ 2 * (localExpertNum * maxBS * epWorldSize * Align512(Align32(2 * H) + 64) + (K + sharedExpertNum) * maxBS * Align512(2 * H)))（[object Object]需使用MoE专家卡的本卡专家数；[object Object]；[object Object]）。 - tp通信域内：设置大小要求>=A * (H * 2 + 128) * 2。 - Atlas 350 加速卡：ep通信域内设置大小要求 (≥ 2) 且满足 (≥ 2 * (localExpertNum * maxBS * epWorldSize * Align512(Align32(2 * H) + 64) + (K + sharedExpertNum) * maxBS * Align512(2 * H)))（[object Object]需使用MoE专家卡的本卡专家数；[object Object]；[object Object]）。不支持TP通信域。

  • HCCL_INTRA_PCIE_ENABLE和HCCL_INTRA_ROCE_ENABLE：

    • [object Object]Atlas A2 训练系列产品/Atlas A2 推理系列产品[object Object]：该环境变量不再推荐使用，建议通过[object Object]配置为"hierarchy"。
    • [object Object]Atlas A3 训练系列产品/Atlas A3 推理系列产品[object Object]、Atlas 350 加速卡：：不支持该环境变量。

• 通信域使用约束：

  • 一个模型中的CombineV2系列算子和[object Object]仅支持相同EP通信域，且该通信域中不允许有其他算子。
  • 一个模型中的CombineV2系列算子和[object Object]仅支持相同TP通信域或都不支持TP通信域；有TP通信域时，该通信域中不允许有其他算子。
  • [object Object]Atlas A3 训练系列产品/Atlas A3 推理系列产品[object Object]：一个通信域内的节点需在一个超节点内，不支持跨超节点。

• 组网约束：

  • [object Object]Atlas A2 训练系列产品/Atlas A2 推理系列产品[object Object]：多机场景仅支持交换机组网，不支持双机直连组网。

• 其他约束：

  • 公式中的“/”表示整除。

[object Object]

• 环境变量配置：

  [object Object]

• 机器数量设置：

  两机16卡场景中，需将参数MACHINE_NUM设置为2，即

  [object Object]

  单机16卡场景则无需修改。

• [object Object]Atlas A2 训练系列产品/Atlas A2 推理系列产品[object Object]：

  无需配置ranktable文件以及环境变量RANK_TABLE_FILE、FIRST_RANK_ID。

  本示例支持A2算子运行在卡数为[2, 8]的单机环境中，运行前需要将示例代码中的IS_TEST_A2设置为true，确保执行A2分支。 同时，用户可以根据需要在示例代码中设置EP_WORLD_SIZE_A2为卡数，并更改launchOneThreadDispatchV2AndCombineV2_A2函数中的moeExpertNum，使得moeExpertNum可以被EP_WORLD_SIZE_A2整除。

  算子编译命令如下，moe_distribute_dispatch_v2和moe_distribute_combine_v2算子都需要编译，这两个算子需要成对执行：

  [object Object]

  示例算子执行命令如下：

  [object Object]

• [object Object]Atlas A3 训练系列产品/Atlas A3 推理系列产品[object Object]：

  无需配置ranktable文件以及环境变量RANK_TABLE_FILE、FIRST_RANK_ID。

  运行前需要将示例代码中的IS_TEST_A3设置为true，确保执行A3分支。

• Atlas 350 加速卡：

  无需配置ranktable文件以及环境变量RANK_TABLE_FILE、FIRST_RANK_ID。

  运行前需要将示例代码中的IS_TEST_A5设置为true，确保执行Atlas 350 加速卡分支。

示例代码如下，仅供参考，具体编译和执行过程请参考。

• [object Object]Atlas A2 训练系列产品/Atlas A2 推理系列产品[object Object]、[object Object]Atlas A3 训练系列产品/Atlas A3 推理系列产品[object Object]、Atlas 350 加速卡：

  [object Object]