aclnnMoeDistributeCombine

产品支持情况

[object Object]undefined

功能说明

当存在TP域通信时，先进行ReduceScatterV通信，再进行AlltoAllV通信，最后将接收的数据整合（乘权重再相加）；当不存在TP域通信时，进行AlltoAllV通信，最后将接收的数据整合（乘权重再相加）。

[object Object]

函数原型

每个算子分为，必须先调用 [object Object]接口获取计算所需workspace大小以及包含了算子计算流程的执行器，再调用[object Object]接口执行计算。

aclnnMoeDistributeCombineGetWorkspaceSize

• 参数说明

  [object Object]

  • [object Object]Atlas A2 训练系列产品/Atlas A2 推理系列产品[object Object]：

    • 不支持共享专家场景。
    • epSendCounts 的shape为 (moeExpertNum + 2 * globalBs * K * serverNum, )，其中K指topK个专家数，前moeExpertNum个数表示从EP通信域各卡接收的token数，后2 * globalBs * K * serverNum个数用于存储机间/机内通信前，combine可提前做reduce的token个数和通信区偏移，当globalBs=0时按Bs * epWorldSize计算。
    • 当前不支持TP域通信。
    • expandScales 要求为1D Tensor，shape为 (A, )。
    • epWorldSize 取值支持16、32、64。
    • moeExpertNum 还需满足moeExpertNum / (epWorldSize - sharedExpertRankNum) <= 24。
    • groupTp 当前版本不支持，传空字符即可。
    • tpWorldSize、tpRankId、expertShardType、sharedExpertNum、sharedExpertRankNum当前版本不支持，传0即可。
    • 各rank Bs一致时，globalBs = Bs * epWorldSize 或 0；各rank Bs不一致时，globalBs = maxBs * epWorldSize 或 256 * epWorldSize（maxBs为单rank BS最大值，建议按maxBs * epWorldSize传入）。

  • [object Object]Atlas A3 训练系列产品/Atlas A3 推理系列产品[object Object]：

    • epSendCounts 的shape为 (epWorldSize * max(tpWorldSize, 1) * localExpertNum, )。
    • 有TP域通信时 tpSendCounts 为1D Tensor，shape为 (tpWorldSize, )。
    • expandScales 为预留参数，当前版本不支持，传空指针即可。
    • epWorldSize 取值支持8、16、32、64、128、144、256、288。
    • groupTp 字符串长度范围为[1, 128)，不能和groupEp相同。
    • tpWorldSize 取值范围[0, 2]，0和1表示无TP域通信，有TP域通信时仅支持2。
    • tpRankId 取值范围[0, 1]，同一个TP通信域中各卡的tpRankId不重复；无TP域通信时传0即可。
    • expertShardType 当前仅支持传0，表示共享专家卡排在MoE专家卡前面。
    • sharedExpertNum 当前取值范围[0, 1]，0表示无共享专家，1表示一个共享专家，当前版本仅支持1。
    • sharedExpertRankNum 当前取值范围[0, epWorldSize)，不为0时需满足epWorldSize % sharedExpertRankNum = 0。
    • 各rank Bs一致时，globalBs = Bs * epWorldSize 或 0；各rank Bs不一致时，globalBs = maxBs * epWorldSize（maxBs为单卡BS最大值）。

• 返回值

  返回aclnnStatus状态码，具体参见。

  第一段接口完成入参校验，出现以下场景时报错：

  [object Object]

aclnnMoeDistributeCombine

• 参数说明

  [object Object]

• 返回值

  返回aclnnStatus状态码，具体参见。

约束说明

1. 确定性计算：

   • aclnnMoeDistributeCombine默认确定性实现。

2. [object Object]接口与[object Object]接口必须配套使用，具体参考调用示例。

3. 在不同产品型号、不同通信算法或不同版本中，[object Object]的Tensor输出[object Object]、[object Object]、[object Object]、[object Object]中的元素值可能不同，使用时直接将上述Tensor传给[object Object]对应参数即可，模型其他业务逻辑不应对其存在依赖。

4. 调用接口过程中使用的[object Object]、[object Object]、[object Object]、[object Object]、[object Object]、[object Object]、[object Object]、[object Object]、[object Object]参数取值所有卡需保持一致，网络中不同层中也需保持一致，且和[object Object]对应参数也保持一致。

5. 参数说明里shape格式说明：

   • A：表示本卡需要分发的最大token数量，取值范围如下：
     • 对于共享专家，需满足 (A = BS * epWorldSize * sharedExpertNum / sharedExpertRankNum)。
     • 对于MoE专家，当[object Object]为0时，需满足 (A >= BS * epWorldSize * min(localExpertNum, K))；当[object Object]非0时，需满足 (A >= globalBs * min(localExpertNum, K))。
   • H：表示hidden size（隐藏层大小）：
     • [object Object]Atlas A2 训练系列产品/Atlas A2 推理系列产品[object Object]：取值范围(0, 7168]，且需为32的整数倍。
     • [object Object]Atlas A3 训练系列产品/Atlas A3 推理系列产品[object Object]：取值为7168。
   • BS：表示batch sequence size（本卡最终输出的token数量）：
     • [object Object]Atlas A2 训练系列产品/Atlas A2 推理系列产品[object Object]：取值范围为 (0 < BS ≤ 256)。
     • [object Object]Atlas A3 训练系列产品/Atlas A3 推理系列产品[object Object]：取值范围为 (0 < BS ≤ 512)。
   • K：表示选取topK个专家，需满足 (0 < K ≤ moeExpertNum)：
     • [object Object]Atlas A2 训练系列产品/Atlas A2 推理系列产品[object Object]：取值范围为 (0 < K ≤ 16)。
     • [object Object]Atlas A3 训练系列产品/Atlas A3 推理系列产品[object Object]：取值范围为 (0 < K ≤ 8)。
   • serverNum：表示服务器的节点数，取值仅支持2、4、8。
   • localExpertNum：表示本卡专家数量：
     • 对于共享专家卡，(localExpertNum = 1)。
     • 对于MoE专家卡，(localExpertNum = moeExpertNum / (epWorldSize - sharedExpertRankNum))；当(localExpertNum > 1)时，不支持TP域通信。

6. HCCL_BUFFSIZE：

   调用本接口前需检查[object Object]环境变量取值是否合理，该环境变量表示单个通信域占用内存大小，单位MB，不配置时默认为200MB：

   • [object Object]Atlas A2 训练系列产品/Atlas A2 推理系列产品[object Object]：
     • 设置大小要求 (≥ 2 * (BS * epWorldSize * min(localExpertNum, K) * H * sizeof(uint16) + 2MB))。
   • [object Object]Atlas A3 训练系列产品/Atlas A3 推理系列产品[object Object]：
     • ep通信域内：设置大小要求 (≥ 2) 且满足 (1024^2 * (HCCL_BUFFSIZE - 2) / 2 ≥ BS * 2 * (H + 128) * (epWorldSize * localExpertNum + K + 1))，其中[object Object]需使用MoE专家卡的本卡专家数。
     • tp通信域内：设置大小要求>=A * (H * 2 + 128) * 2。

7. HCCL_INTRA_PCIE_ENABLE和HCCL_INTRA_ROCE_ENABLE： [object Object]Atlas A2 训练系列产品/Atlas A2 推理系列产品[object Object]：设置环境变量[object Object]和[object Object]可减少跨机通信数据量，可能提升算子性能。此时，[object Object]要求 (≥ moeExpertNum * BS * (H * sizeof(dtypeX) + 4 * ((K + 7) / 8 * 8) * sizeof(uint32)) + 4MB + 100MB)；且对于入参[object Object]，仅要求 (moeExpertNum % (epWorldSize - sharedExpertRankNum) = 0)，不要求 (moeExpertNum / (epWorldSize - sharedExpertRankNum) ≤ 24)。

8. 本文公式中的“/”表示整除。

9. 通信域使用约束：

• 一个模型中的[object Object]和[object Object]仅支持相同EP通信域，且该通信域中不允许有其他算子。
• 一个模型中的[object Object]和[object Object]仅支持相同TP通信域或都不支持TP通信域；有TP通信域时，该通信域中不允许有其他算子。
• [object Object]Atlas A3 训练系列产品/Atlas A3 推理系列产品[object Object]：一个通信域内的节点需在一个超节点内，不支持跨超节点。

11. 组网约束：

• [object Object]Atlas A2 训练系列产品/Atlas A2 推理系列产品[object Object]：多机场景仅支持交换机组网，不支持双机直连组网。

调用示例

• [object Object]Atlas A2 训练系列产品/Atlas A2 推理系列产品[object Object]：

  • 文件准备：

    1. 按照下方指导创建rank_table_m2.json文件并修改。

    2. 将项目拷贝到两台服务器中，并根据机器的device ip配置rank_table_m2.json文件内容。注意两机rank_table_m2.json文件保持一致。

    3. 安装cann包，并参考下方指导编译运行。

  • 关于rankTable:

    1. 开发者可以通过ranktable文件配置参与集合通信的NPU资源信息，详细配置请参考中“通信功能开发>集群信息配置>ranktable文件配置资源信息”。

    2. 使用[object Object] 或者[object Object]查询机器的device ip。然后参考集合通信文档填写json文件。

    [object Object]

  • 环境变量配置：

    [object Object]

  • 机器数量设置： 两机16卡场景中，需将参数MACHINE_NUM设置为2，即

    [object Object]

    单机16卡场景则无需修改。

• [object Object]Atlas A3 训练系列产品/Atlas A3 推理系列产品[object Object]：

  • 环境变量配置：

    [object Object]

示例代码如下，仅供参考，具体编译和执行过程请参考。

• [object Object]Atlas A2 训练系列产品/Atlas A2 推理系列产品[object Object]、[object Object]Atlas A3 训练系列产品/Atlas A3 推理系列产品[object Object]：
  [object Object]