aclnnQuantMatmulAllReduceV4

产品支持情况

[object Object]undefined

功能说明

• 接口功能：兼容[object Object]、[object Object]、[object Object]支持的功能。

  • [object Object]Atlas A2 训练系列产品/Atlas A2 推理系列产品[object Object]：无新增特性。

• 计算公式：

  • 公式1：commQuantScale1Optional, commQuantScale2Optional不为空时:

    $$matmulAddOutput = (x2ScaleOptional * x1ScaleOptional * (x1_{int8}@x2_{int8} + biasOptional_{int32}) + x3Optional);$$ $$alltoallOutput_{int8} = AllToAll(matmulAddOutput / commQuantScale1Optional);$$ $$reduceSumOutput_{int8} = (add(alltoallOutput_{int8}) * (commQuantScale1Optional / commQuantScale2Optional));$$ $$output = (AllGather(reduceSumOutput_{int8}) * commQuantScale2Optional);$$

  • 公式2：x1，x2为INT8，无x1ScaleOptional，x2Scale为INT64/UINT64，可选biasOptional为INT32，out为BFLOAT16/FLOAT16：

    $$output = AllReduce((x1@x2 + biasOptional) * x2ScaleOptional + x3Optional)$$

  • 公式3：x1，x2为INT8，x1ScaleOptional为FLOAT32，x2Scale为FLOAT32/BFLOAT16，可选biasOptional为INT32, out为FLOAT16/BFLOAT16：

    $$output = AllReduce((x1@x2 + biasOptional) * x2ScaleOptional * x1ScaleOptional + x3Optional)$$

  • 公式4：x1，x2为[object Object]/[object Object]/[object Object]，x1ScaleOptional为[object Object]，x2Scale为[object Object]，可选biasOptional为FLOAT32, out为FLOAT16/BFLOAT16/FLOAT32：

    $$output = AllReduce((x1* x1ScaleOptional)@(x2* x2ScaleOptional) + biasOptional + x3Optional)$$

  • 公式5：x1，x2为[object Object]/[object Object]/HIFLOAT8，x1ScaleOptional为FLOAT32，x2Scale为FLOAT32，可选bias为FLOAT32, out为FLOAT16/BFLOAT16/FLOAT32：

    $$output = AllReduce((x1@x2 + biasOptional) * x2ScaleOptional * x1ScaleOptional + x3Optional)$$

  • 公式6：x1，x2为[object Object]/[object Object]/HIFLOAT8，x1ScaleOptional为FLOAT32，x2Scale为FLOAT32，无biasOptional。当x1为(a0, a1)，x2为(b0, b1)时x1ScaleOptional为(ceildiv(a0，128), ceildiv(a1，128))x2Scale为(ceildiv(b0，128), ceildiv(b1，128)), out为FLOAT16/BFLOAT16/FLOAT32:

    $$output_{pq} = AllReduce(\sum_{0}^{\left \lfloor \frac{k}{128} \right \rfloor} (x1_{pr}@x2_{rq}*(x1ScaleOptional_{pr}*x2Scale_{rq})) + x3)$$

  • 公式7：x1，x2为[object Object]/[object Object]，x1ScaleOptional为FLOAT32，x2Scale为FLOAT32，可选biasOptional为FLOAT32，当commQuantMode为1时，out为FLOAT16/BFLOAT16/FLOAT32:

  $$matmulAddOutput_{fp32} = (x2ScaleOptional * x1ScaleOptional * (x1_{fp8}@x2_{fp8} + biasOptional_{fp32}) + x3Optional);$$ $$scaleOut_{fp32} = (matmulAddOutput_{fp32} / (reduceMax(abs(matmulAddOutput_{fp32})) / FP32\_MAX));$$ $$quantOutput_{fp8} = (append((matmulAddOutput_{fp32} * scaleOut{fp32})@scaleOut_{fp32}));$$ $$alltoallOutput_{fp8} = (AllToAll(quantOut_{fp8}));$$ $$dequantOutput_{fp32} = (alltoallOutput_{fp8} / scaleOut_{fp32});$$ $$reduceSumOutput_{fp32} = (reduceSum(dequantOutput_{fp32}));$$ $$preAllGatherQuantScale_{fp32} = (reduceSumOutput_{fp32} / (reduceMax(abs(reduceSumOutput_{fp32})) / FP8\_MAX));$$ $$preAllGatherQuantOutput_{fp8} = (append((reduceSumOutput_{fp32} * preAllGatherQuantScale_{fp32})@preAllGatherQuantScale_{fp32}));$$ $$allGatherOutput_{fp8} = (AllGather(preAllGatherQuantOutput_{fp8}));$$ $$output = (cast(allGatherOutput_{fp32} / preAllGatherQuantScale_{fp32}));$$

函数原型

每个算子分为，必须先调用[object Object]接口获取计算所需workspace大小以及包含了算子计算流程的执行器，再调用[object Object]接口执行计算。

aclnnQuantMatmulAllReduceV4GetWorkspaceSize

• 参数说明

  [object Object]
  • [object Object]Atlas A2 训练系列产品/Atlas A2 推理系列产品[object Object]：
    • x1、x2支持INT8
    • biasOptional支持INT32
    • x3支持FLOAT16、BFLOAT16
    • x1ScaleOptional支持INT64、UINT64、FLOAT32、BFLOAT16
    • x2ScaleOptional支持FLOAT32
    • output支持FLOAT16、BFLOAT16

• 返回值

  返回aclnnStatus状态码，具体参见。

  第一阶段接口完成入参校验，出现以下场景报错：

  [object Object]

aclnnQuantMatmulAllReduceV4

• 参数说明

  [object Object]

• 返回值

  返回aclnnStatus状态码，具体参见。

约束说明

• 确定性计算：
  • [object Object]Atlas A2 训练系列产品/Atlas A2 推理系列产品[object Object]：[object Object]默认非确定性实现，支持通过配置[object Object]环境变量为true开启确定性计算。
• 增量场景不使能MC2，全量场景使能MC2。
• 输入x1可为2维或者3维，其shape为(b, s, k)或者(m, k)。x2必须是2维。其shape为(k, n)，k轴满足mm算子入参要求，k轴相等。
• m大小不超过2147483647，x1与x2的最后一维大小不超过65535，x1的最后一维指k，x2的最后一维指转置时的k或非转置时的n。
• 传入的x1、x2、x2Scale或者output不为空指针。
• x1和x2、dequantScale、output、bias（非空场景）、x3（非空场景）的数据类型和数据格式需要在支持的范围之内。
• 当x1,x2的输入类型为INT8时，若输出output类型为FLOAT16，当x1ScaleOptional为空时，x2Scale的类型为INT64、UINT64，当x1ScaleOptional不为空时，x2Scale的类型为FLOAT32；若输出output类型为BFLOAT16，x2Scale的类型为BFLOAT16，x3的类型为BFLOAT16。
• 传入的commQuantScale1与commQuantScale2需要同时为空指针或同时不为空指针，若传入的commQuantScale1与commQuantScale2同时不为空指针，两个量化参数shape需保持一致，类型需与算子输出类型保持一致，且每张卡输入保持一致。
• 仅支持hccs链路all mesh组网。
  • [object Object]Atlas A2 训练系列产品/Atlas A2 推理系列产品[object Object]：支持1、2、4、8卡。
• 一个模型中的通算融合MC2算子，仅支持相同通信域。
• INT8和FP8低bit通信仅在通信bound的情况下存在性能收益，计算bound的情况不建议使能INT8或FP8低bit通信，即不建议输入commQuantScale1和commQuantScale2，且commQuantMode输入0。
• 空tensor支持度：
  • 不支持空tensor。

调用示例

示例代码如下，仅供参考，具体编译和执行过程请参考。

说明：本示例代码调用了部分HCCL集合通信库接口：HcclGetCommName、HcclCommInitAll、HcclCommDestroy, 请参考。

• [object Object]Atlas A2 训练系列产品/Atlas A2 推理系列产品[object Object]：

  [object Object]