昇腾社区首页
中文
注册
开发者
下载
支持
积分兑换 NEW

aclnnMoeDistributeDispatch

产品支持情况

[object Object]undefined

功能说明

对Token数据进行量化（可选），当存在TP域通信时，先进行EP（Expert Parallelism）域的AllToAllV通信，再进行TP（Tensor Parallelism）域的AllGatherV通信；当不存在TP域通信时，进行EP（Expert Parallelism）域的AllToAllV通信。

[object Object]

函数原型

每个算子分为，必须先调用 “aclnnMoeDistributeDispatchGetWorkspaceSize”接口获取计算所需workspace大小以及包含了算子计算流程的执行器，再调用“aclnnMoeDistributeDispatch”接口执行计算。

[object Object]
[object Object]

aclnnMoeDistributeDispatchGetWorkspaceSize

  • 参数说明

    [object Object]

    • [object Object]Atlas A2 训练系列产品/Atlas A2 推理系列产品[object Object]：

      • 不支持[object Object]、[object Object]、[object Object]、[object Object]数据类型。
      • [object Object]属性仅支持0和2。
      • 不支持共享专家场景，不支持[object Object]、[object Object]、[object Object]属性。
      • 仅支持EP域，无TP域，不支持[object Object]、[object Object]、[object Object]属性，[object Object]为无效内容。
      • 仅设置环境变量[object Object] = 1和[object Object] = 0时，[object Object]内容有效。

    • [object Object]Atlas A3 训练系列产品/Atlas A3 推理系列产品[object Object]：

      • 不支持[object Object]、[object Object]、[object Object]、[object Object]数据类型。
      • [object Object]属性仅支持0和2。
      • 不支持[object Object]。

  • 返回值：

    aclnnStatus：返回状态码，具体参见。

    第一段接口完成入参校验，出现以下场景时报错：

    [object Object]

​

aclnnMoeDistributeDispatch

  • 参数说明：

    [object Object]

  • 返回值

    返回aclnnStatus状态码，具体参见。

约束说明

  • 确定性计算：

    • aclnnMoeDistributeDispatch默认确定性实现。

  • [object Object]算子与[object Object]算子必须配套使用，具体参考调用示例。

  • 在不同产品型号、不同通信算法或不同版本中，[object Object]的Tensor输出[object Object]、[object Object]、[object Object]、[object Object]中的元素值可能不同，使用时直接将上述Tensor传给[object Object]对应参数即可，模型其他业务逻辑不应对其存在依赖。

  • 调用算子过程中使用的[object Object]、[object Object]、[object Object]、[object Object]、[object Object]、[object Object]、[object Object]、[object Object]、[object Object]属性取值所有卡需保持一致，网络中不同层中也需保持一致，且和[object Object]对应参数也保持一致。

  • 参数说明里shape格式说明：

    • [object Object]：表示本卡可能接收的最大token数量，取值范围如下：
      • 对于共享专家，要满足[object Object] = [object Object] * [object Object] * [object Object] / [object Object]
      • 对于MoE专家，当[object Object]为0时，要满足[object Object] >= [object Object] * [object Object] * min([object Object], [object Object])；当[object Object]非0时，要满足[object Object] >= [object Object] * min([object Object], [object Object])。
    • [object Object]：表示本卡专家数量。
      • 对于共享专家卡，[object Object] = 1
      • 对于MoE专家卡，[object Object] = [object Object] / ([object Object] - [object Object])[object Object] > 1时，不支持TP域通信。

  • 本文公式中的"/"表示整除。

  • 通信域使用约束：

    • 一个模型中的[object Object]和[object Object]仅支持相同EP通信域，且该通信域中不允许有其他算子。
    • 一个模型中的[object Object]和[object Object]仅支持相同TP通信域或都不支持TP通信域，有TP通信域时该通信域中不允许有其他算子。
    • [object Object]Atlas A3 训练系列产品/Atlas A3 推理系列产品[object Object]：一个通信域内的节点需在一个超节点内，不支持跨超节点。

  • [object Object]Atlas A2 训练系列产品/Atlas A2 推理系列产品[object Object]：

    • 参数说明里shape格式说明：
      • [object Object]：表示hidden size隐藏层大小，取值范围(0, 7168]，且保证是32的整数倍。
      • [object Object]：表示batch sequence size，即本卡最终输出的token数量，取值范围为[1, 256]。
      • [object Object]：表示选取topK个专家，需满足0 < [object Object] ≤ moeExpertNum，取值范围为[1, 16]。
    • [object Object]：调用本算子前需检查[object Object]环境变量取值是否合理，该环境变量表示单个通信域占用内存大小，单位MB，不配置时默认为200MB，要求 >= 2 * ([object Object] * [object Object] * min([object Object], [object Object]) * [object Object] * sizeof(uint16) + 2MB)。
    • [object Object]和[object Object]：设置环境变量[object Object] = 1和[object Object] = 0可以减少跨机通信数据量，可能提升算子性能。 此时，要求[object Object] >= [object Object] * [object Object] * ([object Object] * sizeof(dtypeX) + 4 * (([object Object] + 7) / 8 * 8) * sizeof(uint32)) + 4MB + 100MB。并且，对于入参[object Object]，只要求[object Object] % [object Object] = 0，不要求[object Object] / [object Object] <= 24，但不支持[object Object]特性。
    • [object Object]：取值支持16、32、64。
    • [object Object]相关约束：
      • [object Object]取值为2时，表示pertoken动态量化场景，[object Object]的数据类型支持[object Object]。
        • 输入[object Object]可传入空指针。
        • 若输入[object Object]传入有效数据时，其shape为 ([object Object], [object Object])。
    • 组网约束：多机场景仅支持交换机组网，不支持双机直连组网。

  • [object Object]Atlas A3 训练系列产品/Atlas A3 推理系列产品[object Object]：

    • 该场景下单卡包含双DIE（简称为“晶粒”或“裸片”），因此参数说明里的“本卡”均表示单DIE。
    • 参数说明里shape格式说明：
      • [object Object]：表示hidden size隐藏层大小，取值为7168。
      • [object Object]：表示batch sequence size，即本卡最终输出的token数量，取值范围为[1, 512]。
      • [object Object]：表示选取topK个专家，需满足0 < [object Object] ≤ moeExpertNum，取值范围为[1, 8]。
    • [object Object]：调用本算子前需检查[object Object]环境变量取值是否合理，该环境变量表示单个通信域占用内存大小，单位MB，不配置时默认为200MB。
      • ep通信域内：要求 >= 2且满足1024 ^ 2 * ([object Object] - 2) / 2 >= [object Object] * 2 * ([object Object] + 128) * ([object Object] * [object Object] + [object Object] + 1)，[object Object]需使用MoE专家卡的本卡专家数。
      • tp通信域内：设置大小要求>=A * (H * 2 + 128) * 2。
    • [object Object]：取值支持8、16、32、64、128、144、256、288。
    • [object Object]相关约束：
      • [object Object]取值为2时，表示pertoken动态量化场景，[object Object]的数据类型支持[object Object]。
        • 输入[object Object]可传入空指针。
        • 若输入[object Object]传入有效数据且存在共享专家卡时，其shape为 ([object Object] + [object Object], [object Object])。
        • 若输入[object Object]传入有效数据且不存在共享专家卡时，其shape为 ([object Object], [object Object])。

调用示例

  • [object Object]Atlas A2 训练系列产品/Atlas A2 推理系列产品[object Object]：

    • 文件准备：

      1. 按照下方指导创建rank_table_m2.json文件并修改。

      2. 将项目拷贝到两台服务器中，并根据机器的device ip配置rank_table_m2.json文件内容。注意两机rank_table_m2.json文件保持一致。

      3. 安装cann包并参考下方指导编译运行。

    • 关于rankTable:

      1. 开发者可以通过ranktable文件配置参与集合通信的NPU资源信息，详细配置请参考中“通信功能开发>集群信息配置>ranktable文件配置资源信息”。

      2. 使用[object Object] 或者[object Object]查询机器的device ip。然后参考集合通信文档填写json文件。

      [object Object]

    • 环境变量配置：

      [object Object]

    • 机器数量设置： 两机16卡场景中，需将参数MACHINE_NUM设置为2，即

      [object Object]

      单机16卡场景则无需修改。

  • [object Object]Atlas A3 训练系列产品/Atlas A3 推理系列产品[object Object]：

    • 环境变量配置：

      [object Object]

示例代码如下，仅供参考，具体编译和执行过程请参考。

  • [object Object]Atlas A2 训练系列产品/Atlas A2 推理系列产品[object Object]、[object Object]Atlas A3 训练系列产品/Atlas A3 推理系列产品[object Object]：
    [object Object]