[object Object][object Object]

[object Object][object Object]

• [object Object]Ascend 950PR/Ascend 950DT[object Object]：支持

[object Object][object Object]

• [object Object]Atlas A3 训练系列产品/Atlas A3 推理系列产品[object Object]：不支持

[object Object][object Object]

• [object Object]Atlas A2 训练系列产品/Atlas A2 推理系列产品[object Object]：不支持

[object Object][object Object]

• [object Object]Atlas 200I/500 A2 推理产品[object Object]：不支持

[object Object][object Object]

• [object Object]Atlas 推理系列产品[object Object]：不支持

[object Object][object Object]

• [object Object]Atlas 训练系列产品[object Object]：不支持

[object Object][object Object]

完成伪量化Matmul（包括QuantBatchMatmulV5、GroupedMatmul-伪量化）的参数预处理：主要将weight从ND格式转换为FRACTAL_NZ格式，并在需要时对weightScale、weightOffsetOptional、biasOptional进行同步处理。

[object Object]

每个算子分为：

1. 调用[object Object]获取workspace大小及执行器；
2. 调用[object Object]执行计算。

注意：用户需自行构造输出张量，参考约束说明中的shape计算公式。

[object Object]

• 参数说明

  [object Object]

• 返回值

  aclnnStatus：返回状态码，具体参见。

  第一段接口完成入参校验，出现以下场景时报错：

  [object Object]

[object Object]

• 参数说明

  [object Object]undefined

• 返回值

  aclnnStatus：返回状态码，具体参见。

[object Object]

• 确定性说明：aclnnWeightQuantPreprocess默认确定性实现。

[object Object]

• weight

  • 数据类型：FLOAT4_E2M1
  • 格式：ND
  • K % kGroupSize == 0
  • view shape：2-D [object Object]
  • storage shape：[object Object]（transposed）
  • stride：[object Object]（最后两维transposed）
  • 不支持空tensor

• weightScale

  • 数据类型：FLOAT8_E8M0
  • 格式：ND/NCL
  • view shape：3-D [object Object]
  • storage shape：[object Object]（transposed）
  • stride：[object Object]（维度0和1交换）
  • 不支持空tensor

• weightOffsetOptional

  • 当前不支持，必须为nullptr
  • outWeightOffsetOptional也必须为nullptr

• biasOptional

  • 数据类型：float16/bfloat16
  • 格式：ND
  • 必须为contiguous
  • 不支持空tensor（若提供）

• kGroupSize

  • 必须等于 32

• xDtype

  • FLOAT8_E4M3FN

• xScaleDtype

  • FLOAT8_E8M0

• outWeight

  • 数据类型：与weight相同
  • 格式：FRACTAL_NZ_C0_32
  • view shape：与weight view shape相同 [object Object]
  • storage shape：4-D [object Object]

• outWeightScale

  • 数据类型：与weightScale相同
  • 格式：ND
  • view shape：与weightScale view shape相同
  • storage shape：与weightScale storage shape相同

• outBiasOptional

  • 数据类型：与biasOptional相同
  • 格式：ND
  • 必须为contiguous
  • view shape：与biasOptional相同
  • storage shape：与biasOptional相同

[object Object][object Object]

• weight

  • 数据类型：FLOAT4_E2M1
  • 格式：ND
  • K % kGroupSize == 0
  • view shape：3-D [object Object]
  • storage shape：[object Object]（transposed，最后两维交换）
  • stride：[object Object]（维度1和2 transposed）
  • 不支持空tensor

• weightScale

  • 数据类型：FLOAT8_E8M0
  • 格式：ND/NCL/NCHW
  • view shape：4-D [object Object]
  • storage shape：[object Object]（transposed，维度2和3交换）
  • stride：[object Object]（维度2和3交换）
  • 不支持空tensor

• weightOffsetOptional

  • 当前不支持，必须为nullptr
  • outWeightOffsetOptional也必须为nullptr

• biasOptional

  • 数据类型：float16/bfloat16
  • 格式：ND
  • 必须为contiguous
  • 不支持空tensor（若提供）

• kGroupSize

  • 必须等于 32

• xDtype

  • FLOAT8_E4M3FN

• xScaleDtype

  • FLOAT8_E8M0

• outWeight

  • 数据类型：与weight相同
  • 格式：FRACTAL_NZ_C0_32
  • view shape：与weight view shape相同 [object Object]
  • storage shape：5-D [object Object]

• outWeightScale

  • 数据类型：与weightScale相同
  • 格式：ND
  • view shape：与weightScale view shape相同
  • storage shape：与weightScale storage shape相同

• outBiasOptional

  • 数据类型：与biasOptional相同
  • 格式：ND
  • 必须为contiguous
  • view shape：与biasOptional相同
  • storage shape：与biasOptional相同

[object Object]

• 其余数据类型与shape组合为预留接口，当前调用将返回ACLNN_ERR_PARAM_INVALID

[object Object]

示例代码如下，仅供参考，具体编译和执行过程请参考。

注意：用户需自行计算并构造输出张量shape，参考约束说明中的公式：

• outWeight viewShape：与weight viewShape相同
• outWeight storageShape：[object Object]
• outWeight format：[object Object]