[object Object]

[object Object][object Object]undefined[object Object]

• 接口功能：兼容[object Object]、[object Object]、[object Object]、[object Object]支持的功能，新增通信引擎参数commMode，支持自选通信引擎。
• 计算公式：与[object Object]一致，详见。

[object Object]

每个算子分为，必须先调用[object Object]接口获取计算所需workspace大小以及包含了算子计算流程的执行器，再调用[object Object]接口执行计算。

[object Object]

• 参数说明

  [object Object]

• 返回值

  返回aclnnStatus状态码，具体参见。

  第一阶段接口完成入参校验，出现以下场景报错：

  [object Object]

[object Object]

• 参数说明

  [object Object]

• 返回值

  返回aclnnStatus状态码，具体参见。

[object Object]

• 通信引擎commMode支持度：
  • [object Object]Atlas A2 训练系列产品/Atlas A2 推理系列产品[object Object]：目前不支持指定通信引擎，commMode仅允许输入为"ai_cpu"，使用AICPU通信引擎。
  • [object Object]Ascend 950PR/Ascend 950DT[object Object]：目前通信引擎支持AICPU和CCU，commMode允许输入为"ai_cpu"或者"ccu"。CCU仅支持单机UB域内互联，AICPU可支持跨机UB域内互联。
  • 同一条通信链路内，只能选择同一种通信引擎。
  • AICPU和CCU通信引擎简单介绍：
    • AICPU：不占用计算核，通信效率高，但通信静态开销较大，对小数据量通信场景不友好。适用于大数据高带宽场景。
    • CCU：能够减少访存带宽与计算核占用，但受限于片上资源，支持的通信域数量有限。适用于高带宽、低时延的通信场景。
    • 更详细的通信引擎介绍，请参考。
• 确定性计算：
  • [object Object]Atlas A2 训练系列产品/Atlas A2 推理系列产品[object Object]：[object Object]默认非确定性实现，支持通过配置[object Object]环境变量为true开启确定性计算。
  • Ascend 950PR/Ascend 950DT：[object Object]默认确定性实现。
• 增量场景不使能MC2，全量场景使能MC2。
• 输入x1可为2维或者3维，其shape为(b, s, k)或者(m, k)。x2必须是2维。其shape为(k, n)，k轴满足mm算子入参要求，k轴相等。
• m大小不超过2147483647，x1与x2的最后一维大小不超过65535，x1的最后一维指k，x2的最后一维指转置时的k或非转置时的n。
• 传入的x1、x2、x2Scale或者output不为空指针。
• x1和x2、dequantScale、output、bias（非空场景）、x3（非空场景）的数据类型和数据格式需要在支持的范围之内。
• 传入的commQuantScale1与commQuantScale2需要同时为空指针或同时不为空指针，若传入的commQuantScale1与commQuantScale2同时不为空指针，两个量化参数shape需保持一致，类型需与算子输出类型保持一致，且每张卡输入保持一致。
• 仅支持hccs链路all mesh组网。
  • [object Object]Atlas A2 训练系列产品/Atlas A2 推理系列产品[object Object]：支持1、2、4、8卡。
  • [object Object]Ascend 950PR/Ascend 950DT[object Object]：支持1、2、4、8、16、32、64卡。
• 一个模型中的通算融合MC2算子，仅支持相同通信域。
• INT8和FP8低bit通信仅在通信bound的情况下存在性能收益，计算bound的情况不建议使能INT8或FP8低bit通信，即不建议输入commQuantScale1和commQuantScale2，且commQuantMode输入0。（注：INT8低bit通信指输入为int8且使能commQuantScale1Optional、commQuantScale2Optional；FP8低bit通信指输入为FLOAT8_E4M3FN/FLOAT8_E5M2且使能commQuantMode=1。）
• 空tensor支持度：
  • 不支持空tensor。
• groupSize相关约束:
  • 仅当x1Scale和x2Scale输入都是2维及以上数据时，groupSize取值有效，其他场景需传入0。
  • 传入的groupSize内部会按如下公式分解得到groupSizeM、groupSizeN、groupSizeK，当其中有1个或多个为0，会根据x1/x2/x1Scale/x2Scale输入shape重新设置groupSizeM、groupSizeN、groupSizeK用于计算。原理：假设groupSizeM=0，表示m方向量化分组值由接口推断，推断公式为groupSizeM = m / scaleM（需保证m能被scaleM整除），其中m与x1 shape中的m一致，scaleM与x1Scale shape中的m一致。$$groupSize = groupSizeK | groupSizeN << 16 | groupSizeM << 32$$

输入和输出支持以下数据类型组合

• [object Object]Atlas A2 训练系列产品/Atlas A2 推理系列产品[object Object]：

  [object Object]

• [object Object]Ascend 950PR/Ascend 950DT[object Object]：

  int8输入时，支持pertoken-perchannel量化 && pertensor-perchannel量化

  [object Object]

  pertoken-perchannel量化 && pertoken-pertensor量化 && perblock-perblock量化

  [object Object]

  perchannel量化 && pertensor量化

  [object Object]

  MXFP量化

  [object Object]

[object Object]

示例代码如下，仅供参考，具体编译和执行过程请参考。

说明：本示例代码调用了部分HCCL集合通信库接口：HcclGetCommName、HcclCommInitAll、HcclCommDestroy,请参考。

• [object Object]Atlas A2 训练系列产品/Atlas A2 推理系列产品[object Object]、[object Object]Ascend 950PR/Ascend 950DT[object Object]：

  [object Object]