aclnnQuantMatmulWeightNz

支持的产品型号

• [object Object]Atlas A2 训练系列产品/Atlas 800I A2 推理产品/A200I A2 Box 异构组件[object Object]
• [object Object]Atlas A3 训练系列产品/Atlas A3 推理系列产品[object Object]
• [object Object]Atlas 推理系列产品[object Object]

功能说明

• 算子功能：完成量化的矩阵乘计算。相似接口有aclnnMm（仅支持2维Tensor作为输入的矩阵乘）和aclnnBatchMatMul（仅支持三维的矩阵乘，其中第一维是Batch维度）。

• 计算公式：

  • 无x1Scale无bias：
  $$out = x1@x2 * x2Scale + x2Offset$$
  • bias INT32：
  $$out = (x1@x2 + bias) * x2Scale + x2Offset$$
  • bias BFLOAT16/FLOAT32（此场景无x2Offset）：
  $$out = x1@x2 * x2Scale + bias$$
  • x1Scale无bias：
  $$out = x1@x2 * x2Scale * x1Scale$$
  • x1Scale， bias INT32(此场景无x2Offset)：
  $$out = (x1@x2 + bias) * x2Scale * x1Scale$$
  • x1Scale， bias BFLOAT16/FLOAT16/FLOAT32（此场景无x2Offset）：
  $$out = x1@x2 * x2Scale * x1Scale + bias$$

函数原型

每个算子分为undefined，必须先调用“aclnnQuantMatmulWeightNzGetWorkspaceSize”接口获取计算所需workspace大小以及包含了算子计算流程的执行器，再调用“aclnnQuantMatmulWeightNz”接口执行计算。

• aclnnStatus aclnnQuantMatmulWeightNzGetWorkspaceSize(const aclTensor *x1, const aclTensor *x2, const aclTensor *x1Scale, const aclTensor *x2Scale, const aclTensor *yScale, const aclTensor *x1Offset, const aclTensor *x2Offset, const aclTensor *yOffset, const aclTensor *bias, bool transposeX1, bool transposeX2, int64_t groupSize, aclTensor *out, uint64_t *workspaceSize, aclOpExecutor **executor)

• aclnnStatus aclnnQuantMatmulWeightNz(void *workspace, uint64_t workspaceSize, aclOpExecutor *executor, aclrtStream stream)

aclnnQuantMatmulWeightNzGetWorkspaceSize

• 参数说明：

  • x1（aclTensor*，计算输入）：公式中的输入x1，device侧的aclTensor。数据类型支持INT8，支持最后两根轴转置情况下的非连续tensor，其他场景的undefined不支持，undefined支持ND，shape支持2~6维。
    • 在transposeX1为false情况下各个维度表示：（batch，m，k），batch可不存在。
    • 在transposeX1为true情况下各个维度表示：（batch，k，m），batch可不存在。
  • x2（aclTensor*，计算输入）：公式中的输入x2，device侧的aclTensor。数据类型支持INT8，支持最后两根轴转置情况下的非连续tensor，其他场景的undefined不支持，undefined支持昇腾亲和数据排布格式。shape支持4~8维。
    • 在transposeX2为true情况下各个维度表示：（batch，k1，n1，n0，k0），batch可不存在，其中k0 = 32， n0 = 16， x1 shape中的k和x2 shape中的k1需要满足以下关系：ceil（k，32） = k1, x2 shape中的n1与out的n满足以下关系: ceil(n, n0) = n1。
    • 在transposeX2为false情况下各个维度表示：（batch，n1，k1，k0，n0），batch可不存在，其中k0 = 16， n0 = 32， x1 shape中的k和x2 shape中的k1需要满足以下关系：ceil（k，16） = k1, x2 shape中的n1与out的n满足以下关系: ceil(n, n0) = n1。
    • 可使用aclnnCalculateMatmulWeightSizeV2接口以及aclnnTransMatmulWeight接口完成输入Format从ND到昇腾亲和数据排布格式的转换。
  • x1Scale（aclTensor*，计算输入）：公式中的输入x1Scale，device侧的aclTensor。可选的量化参数。
    • [object Object]Atlas A2 训练系列产品/Atlas 800I A2 推理产品/A200I A2 Box 异构组件[object Object]、[object Object]Atlas A3 训练系列产品/Atlas A3 推理系列产品[object Object]：数据类型支持FLOAT32，undefined支持ND，shape是1维（t，），t = m，其中m与x1的m一致。
    • [object Object]Atlas 推理系列产品[object Object]：不支持x1Scale。
  • x2Scale（aclTensor*，计算输入）：公式中的输入x2Scale，device侧的aclTensor。量化参数，undefined支持ND，shape是1维（t，），t = 1或n，其中n与x2的n一致。
    • [object Object]Atlas A2 训练系列产品/Atlas 800I A2 推理产品/A200I A2 Box 异构组件[object Object]、[object Object]Atlas A3 训练系列产品/Atlas A3 推理系列产品[object Object]：数据类型支持UINT64、INT64、FLOAT32、BFLOAT16。
    • [object Object]Atlas 推理系列产品[object Object]：数据类型支持UINT64、INT64。
    • 当原始输入类型不满足undefined中组合时，需提前调用TransQuantParamV2算子的aclnn接口来将scale转成INT64、UINT64数据类型。
  • yScale（aclTensor*，计算输入）：预留参数，当前版本不支持，需要传入nullptr或者空tensor。
  • x1Offset（aclTensor*，计算输入）：预留参数，当前版本不支持，需要传入nullptr或者空tensor。
  • x2Offset（aclTensor*，计算输入）：公式中的输入x2Offset，device侧的aclTensor。可选量化参数，数据类型支持FLOAT32，undefined支持ND，shape是1维（t，），t = 1或n，其中n与x2的n一致。
  • yOffset（aclTensor*，计算输入）：预留参数，当前版本不支持，需要传入nullptr或者空tensor。
  • bias（aclTensor*，计算输入）：公式中的输入bias，device侧的aclTensor。可选参数。undefined支持ND，shape支持1维（n，）或3维（batch，1，n），n与x2的n一致。当out的shape为2、4、5、6维时，bias的shape只支持1维（n，）。
    • [object Object]Atlas A2 训练系列产品/Atlas 800I A2 推理产品/A200I A2 Box 异构组件[object Object]、[object Object]Atlas A3 训练系列产品/Atlas A3 推理系列产品[object Object]：数据类型支持INT32、BFLOAT16、FLOAT16、FLOAT32。
    • [object Object]Atlas 推理系列产品[object Object]：数据类型支持INT32。
  • transposeX1（bool，计算输入）：表示x1的输入shape是否包含transpose，在transposeX1为false情况下各个维度表示：（batch，m，k），在transposeX1为true情况下各个维度表示：（batch，k，m），batch可不存在。
  • transposeX2（bool，计算输入）：表示x2的输入shape是否包含transpose，在transposeX2为true情况下各个维度表示：（batch，k1，n1，n0，k0），batch可不存在，其中k0 = 32，n0 = 16，x1 shape中的k和x2 shape中的k1需要满足以下关系：ceil（k，32） = k1。在transposeX2为false情况下各个维度表示：（batch，n1，k1，k0，n0），batch可不存在，其中k0 = 16，n0 = 32，x1 shape中的k和x2 shape中的k1需要满足以下关系：ceil（k，16） = k1。
  • groupSize（int64_t，计算输入）：预留参数，当前版本不支持，需要传入0。
  • out（aclTensor*，计算输出）：公式中的输出out，device侧的aclTensor。支持undefined，undefined支持ND，shape支持2~6维，（batch，m，n），batch可不存在，支持x1与x2的batch维度broadcast，输出batch与broadcast之后的batch一致，m与x1的m一致，n与x2的n1以及n0满足ceil(n, n0) = n1的关系。
    • [object Object]Atlas A2 训练系列产品/Atlas 800I A2 推理产品/A200I A2 Box 异构组件[object Object]、[object Object]Atlas A3 训练系列产品/Atlas A3 推理系列产品[object Object]：数据类型支持FLOAT16、INT8、BFLOAT16、INT32。
    • [object Object]Atlas 推理系列产品[object Object]：数据类型支持FLOAT16、INT8。
  • workspaceSize（uint64_t*，出参）：返回需要在Device侧申请的workspace大小。
  • executor（aclOpExecutor**，出参）：返回op执行器，包含了算子计算流程。

• 返回值：

  aclnnStatus：返回状态码，具体参见undefined。

  [object Object]

aclnnQuantMatmulWeightNz

• 参数说明：

  • workspace（void*，入参）：在Device侧申请的workspace内存地址。
  • workspaceSize（uint64_t，入参）：在Device侧申请的workspace大小，由第一段接口aclnnQuantMatmulWeightNzGetWorkspaceSize获取。
  • executor（aclOpExecutor*，入参）：op执行器，包含了算子计算流程。
  • stream（aclrtStream，入参）：指定执行任务的AscendCL Stream流。

• 返回值：

  aclnnStatus：返回状态码，具体参见undefined。

约束说明

输入和输出支持以下数据类型组合：

• [object Object]Atlas A2 训练系列产品/Atlas 800I A2 推理产品/A200I A2 Box 异构组件[object Object]、[object Object]Atlas A3 训练系列产品/Atlas A3 推理系列产品[object Object]：

  x1	x2	x1Scale	x2Scale	x2Offset	bias	out
  INT8	INT8	null	UINT64/INT64	null	null/INT32	FLOAT16
  INT8	INT8	null	UINT64/INT64	null/FLOAT32	null/INT32	INT8
  INT8	INT8	null/FLOAT32	FLOAT32/BFLOAT16	null	null/INT32/BFLOAT16/FLOAT32	BFLOAT16
  INT8	INT8	FLOAT32	FLOAT32	null	null/INT32/FLOAT16/FLOAT32	FLOAT16
  INT8	INT8	null	FLOAT32/BFLOAT16	null	null/INT32	INT32

• [object Object]Atlas 推理系列产品[object Object]：

  x1	x2	x1Scale	x2Scale	x2Offset	bias	out
  INT8	INT8	null	UINT64/INT64	null	null/INT32	FLOAT16
  INT8	INT8	null	UINT64/INT64	null/FLOAT32	null/INT32	INT8

调用示例

• [object Object]Atlas A2 训练系列产品/Atlas 800I A2 推理产品/A200I A2 Box 异构组件[object Object]、[object Object]Atlas A3 训练系列产品/Atlas A3 推理系列产品[object Object]：x2为昇腾亲和数据排布格式场景下的示例代码如下(transposeX2=false)，仅供参考，具体编译和执行过程请参考undefined。

  [object Object]