[object Object]

[object Object][object Object]undefined[object Object]

• 接口功能：兼容[object Object]、[object Object]、[object Object]支持的功能。

  • [object Object]Atlas A2 训练系列产品/Atlas A2 推理系列产品[object Object]：无新增特性。
  • Atlas 350 加速卡：新增perblock、pertile、mxfp量化方式。新增x1，x2输入支持dtype为[object Object]、[object Object]、HIFLOAT8、[object Object]。

• 计算公式：

  • 公式1，使能低bit通信场景的公式2或公式3场景：

    x1，x2为INT8，commQuantScale1Optional, commQuantScale2Optional不为空时:

    $$matmulAddOutput = (x2ScaleOptional * x1ScaleOptional * (x1_{int8}@x2_{int8} + biasOptional_{int32}) + x3Optional);$$ $$alltoallOutput_{int8} = AllToAll(matmulAddOutput / commQuantScale1Optional);$$ $$reduceSumOutput_{int8} = (add(alltoallOutput_{int8}) * (commQuantScale1Optional / commQuantScale2Optional));$$ $$output = (AllGather(reduceSumOutput_{int8}) * commQuantScale2Optional);$$

  • 公式2，perchannel量化 && pertensor量化：

    x1，x2为INT8，无x1ScaleOptional，x2ScaleOptional为INT64/UINT64，可选biasOptional为INT32，out为BFLOAT16/FLOAT16：

    $$output = AllReduce((x1@x2 + biasOptional) * x2ScaleOptional + x3Optional)$$

  • 公式3，pertoken-perchannel量化 && pertoken-pertensor量化：

    x1，x2为INT8，x1ScaleOptional为FLOAT32，x2Scale为FLOAT32/BFLOAT16，可选biasOptional为INT32, out为FLOAT16/BFLOAT16：

    $$output = AllReduce((x1@x2 + biasOptional) * x2ScaleOptional * x1ScaleOptional + x3Optional)$$

  • 公式4，MXFP量化：

    x1，x2为[object Object]/[object Object]/[object Object]，x1ScaleOptional为[object Object]，x2ScaleOptional为[object Object]，可选biasOptional为FLOAT32, out为FLOAT16/BFLOAT16/FLOAT32：

    $$output = AllReduce((x1* x1ScaleOptional)@(x2* x2ScaleOptional) + biasOptional + x3Optional)$$

  • 公式5，perchannel量化 && pertensor量化：

    x1，x2为[object Object]/[object Object]/HIFLOAT8，x2ScaleOptional为UINT/INT64，可选bias为FLOAT32, out为FLOAT16/BFLOAT16/FLOAT32：

  $$output = AllReduce((x1@x2 + biasOptional) * x2ScaleOptional + x3Optional)$$

  • 公式6，pertoken-perchannel量化 && pertoken-pertensor量化：

    x1，x2为[object Object]/[object Object]/HIFLOAT8，x1ScaleOptional为FLOAT32，x2ScaleOptional为FLOAT32，可选bias为FLOAT32, out为FLOAT16/BFLOAT16/FLOAT32：

    $$output = AllReduce((x1@x2 + biasOptional) * x2ScaleOptional * x1ScaleOptional + x3Optional)$$

  • 公式7，perblock-perblock量化：

    x1，x2为[object Object]/[object Object]/HIFLOAT8，x1ScaleOptional为FLOAT32，x2Scale为FLOAT32，无biasOptional。当x1为(a0, a1)，x2为(b0, b1)时x1ScaleOptional为(ceildiv(a0，128), ceildiv(a1，128))x2Scale为(ceildiv(b0，128), ceildiv(b1，128)), out为FLOAT16/BFLOAT16/FLOAT32:

    $$output_{pq} = AllReduce(\sum_{0}^{\left \lfloor \frac{k}{128} \right \rfloor} (x1_{pr}@x2_{rq}*(x1ScaleOptional_{pr}*x2Scale_{rq})) + x3Optional)$$

  • 公式8，使能低bit通信，pertile量化：

    x1，x2为[object Object]/[object Object]，x1ScaleOptional为FLOAT32，x2Scale为FLOAT32，可选biasOptional为FLOAT32，commQuantMode为1，out为FLOAT16/BFLOAT16/FLOAT32:

  $$matmulAddOutput_{fp32} = (x2ScaleOptional * x1ScaleOptional * (x1_{fp8}@x2_{fp8} + biasOptional_{fp32}) + x3Optional);$$ $$scaleOut_{fp32} = (matmulAddOutput_{fp32} / (reduceMax(abs(matmulAddOutput_{fp32})) / FP32\_MAX));$$ $$quantOutput_{fp8} = (append((matmulAddOutput_{fp32} * scaleOut{fp32})@scaleOut_{fp32}));$$ $$alltoallOutput_{fp8} = (AllToAll(quantOut_{fp8}));$$ $$dequantOutput_{fp32} = (alltoallOutput_{fp8} / scaleOut_{fp32});$$ $$reduceSumOutput_{fp32} = (reduceSum(dequantOutput_{fp32}));$$ $$preAllGatherQuantScale_{fp32} = (reduceSumOutput_{fp32} / (reduceMax(abs(reduceSumOutput_{fp32})) / FP8\_MAX));$$ $$preAllGatherQuantOutput_{fp8} = (append((reduceSumOutput_{fp32} * preAllGatherQuantScale_{fp32})@preAllGatherQuantScale_{fp32}));$$ $$allGatherOutput_{fp8} = (AllGather(preAllGatherQuantOutput_{fp8}));$$ $$output = (cast(allGatherOutput_{fp32} / preAllGatherQuantScale_{fp32}));$$

[object Object]

每个算子分为，必须先调用[object Object]接口获取计算所需workspace大小以及包含了算子计算流程的执行器，再调用[object Object]接口执行计算。

[object Object]

• 参数说明

  [object Object]

• 返回值

  返回aclnnStatus状态码，具体参见。

  第一阶段接口完成入参校验，出现以下场景报错：

  [object Object]

[object Object]

• 参数说明

  [object Object]

• 返回值

  返回aclnnStatus状态码，具体参见。

[object Object]

• 确定性计算：
  • [object Object]Atlas A2 训练系列产品/Atlas A2 推理系列产品[object Object]：[object Object]默认非确定性实现，支持通过配置[object Object]环境变量为true开启确定性计算。
  • Ascend 950PR/Ascend 950DT：[object Object]默认确定性实现。
• 增量场景不使能MC2，全量场景使能MC2。
• 输入x1可为2维或者3维，其shape为(b, s, k)或者(m, k)。x2必须是2维。其shape为(k, n)，k轴满足mm算子入参要求，k轴相等。
• m大小不超过2147483647，x1与x2的最后一维大小不超过65535，x1的最后一维指k，x2的最后一维指转置时的k或非转置时的n。
• 传入的x1、x2、x2Scale或者output不为空指针。
• x1和x2、dequantScale、output、bias（非空场景）、x3（非空场景）的数据类型和数据格式需要在支持的范围之内。
• 传入的commQuantScale1与commQuantScale2需要同时为空指针或同时不为空指针，若传入的commQuantScale1与commQuantScale2同时不为空指针，两个量化参数shape需保持一致，类型需与算子输出类型保持一致，且每张卡输入保持一致。
• 仅支持hccs链路all mesh组网。
  • [object Object]Atlas A2 训练系列产品/Atlas A2 推理系列产品[object Object]：支持1、2、4、8卡。
  • Atlas 350 加速卡：支持1、2、4、8、16、32、64卡。
• 一个模型中的通算融合MC2算子，仅支持相同通信域。
• INT8和FP8低bit通信仅在通信bound的情况下存在性能收益，计算bound的情况不建议使能INT8或FP8低bit通信，即不建议输入commQuantScale1和commQuantScale2，且commQuantMode输入0。（注：INT8低bit通信指输入为int8且使能commQuantScale1Optional、commQuantScale2Optional；FP8低bit通信指输入为FLOAT8_E4M3FN/FLOAT8_E5M2且使能commQuantMode=1。）
• 空tensor支持度：
  • 不支持空tensor。
• groupSize相关约束:
  • 仅当x1Scale和x2Scale输入都是2维及以上数据时，groupSize取值有效，其他场景需传入0。
  • 传入的groupSize内部会按如下公式分解得到groupSizeM、groupSizeN、groupSizeK，当其中有1个或多个为0，会根据x1/x2/x1Scale/x2Scale输入shape重新设置groupSizeM、groupSizeN、groupSizeK用于计算。原理：假设groupSizeM=0，表示m方向量化分组值由接口推断，推断公式为groupSizeM = m / scaleM（需保证m能被scaleM整除），其中m与x1 shape中的m一致，scaleM与x1Scale shape中的m一致。$$groupSize = groupSizeK | groupSizeN << 16 | groupSizeM << 32$$

输入和输出支持以下数据类型组合

• [object Object]Atlas A2 训练系列产品/Atlas A2 推理系列产品[object Object]：

  [object Object]

• Atlas 350 加速卡：

  int8输入时，支持pertoken-perchannel量化 && pertensor-perchannel量化

  [object Object]

  pertoken-perchannel量化 && pertoken-pertensor量化 && perblock-perblock量化

  [object Object]

  perchannel量化 && pertensor量化

  [object Object]

  MXFP量化

  [object Object]

[object Object]

示例代码如下，仅供参考，具体编译和执行过程请参考。

说明：本示例代码调用了部分HCCL集合通信库接口：HcclGetCommName、HcclCommInitAll、HcclCommDestroy, 请参考。

• [object Object]Atlas A2 训练系列产品/Atlas A2 推理系列产品[object Object]、Atlas 350 加速卡：

  [object Object]