昇腾社区首页
中文
注册
开发者
下载
支持
积分兑换 NEW

aclnnQuantMatmulWeightNz

产品支持情况

产品 是否支持
[object Object]Atlas A3 训练系列产品/Atlas A3 推理系列产品[object Object] √
[object Object]Atlas A2 训练系列产品/Atlas 800I A2 推理产品/A200I A2 Box 异构组件[object Object] √
[object Object]Atlas 200I/500 A2 推理产品[object Object] ×
[object Object]Atlas 推理系列产品 [object Object] √
[object Object]Atlas 训练系列产品[object Object] ×

功能说明

  • 算子功能：完成量化的矩阵乘计算。相似接口有aclnnMm（仅支持2维Tensor作为输入的矩阵乘）和aclnnBatchMatMul（仅支持三维的矩阵乘，其中第一维是Batch维度）。支持T-C、T-T、K-C、 K-Tundefined。

  • 计算公式：

    • 无x1Scale无bias：
    out=x1@x2∗x2Scale+x2Offsetout = x1@x2 * x2Scale + x2Offset
    • bias INT32：
    out=(x1@x2+bias)∗x2Scale+x2Offsetout = (x1@x2 + bias) * x2Scale + x2Offset
    • bias BFLOAT16/FLOAT32（此场景无x2Offset）：
    out=x1@x2∗x2Scale+biasout = x1@x2 * x2Scale + bias
    • x1Scale无bias：
    out=x1@x2∗x2Scale∗x1Scaleout = x1@x2 * x2Scale * x1Scale
    • x1Scale， bias INT32(此场景无x2Offset)：
    out=(x1@x2+bias)∗x2Scale∗x1Scaleout = (x1@x2 + bias) * x2Scale * x1Scale
    • x1Scale， bias BFLOAT16/FLOAT16/FLOAT32（此场景无x2Offset）：
    out=x1@x2∗x2Scale∗x1Scale+biasout = x1@x2 * x2Scale * x1Scale + bias

函数原型

每个算子分为undefined，必须先调用“aclnnQuantMatmulWeightNzGetWorkspaceSize”接口获取计算所需workspace大小以及包含了算子计算流程的执行器，再调用“aclnnQuantMatmulWeightNz”接口执行计算。

  • aclnnStatus aclnnQuantMatmulWeightNzGetWorkspaceSize(const aclTensor *x1, const aclTensor *x2, const aclTensor *x1Scale, const aclTensor *x2Scale, const aclTensor *yScale, const aclTensor *x1Offset, const aclTensor *x2Offset, const aclTensor *yOffset, const aclTensor *bias, bool transposeX1, bool transposeX2, int64_t groupSize, aclTensor *out, uint64_t *workspaceSize, aclOpExecutor **executor)

  • aclnnStatus aclnnQuantMatmulWeightNz(void *workspace, uint64_t workspaceSize, aclOpExecutor *executor, aclrtStream stream)

aclnnQuantMatmulWeightNzGetWorkspaceSize

  • 参数说明：

    • x1（aclTensor*，计算输入）：公式中的输入x1，device侧的aclTensor。数据类型支持INT8，支持最后两根轴转置情况下的非连续tensor，其他场景的undefined不支持，undefined支持ND，shape支持2~6维。
      • 在transposeX1为false情况下各个维度表示：（batch，m，k），batch可不存在。
      • 在transposeX1为true情况下各个维度表示：（batch，k，m），batch可不存在。
    • x2（aclTensor*，计算输入）：公式中的输入x2，device侧的aclTensor。数据类型支持INT8，undefined支持昇腾亲和数据排布格式。shape支持4~8维。
      • 在transposeX2为true情况下各个维度表示：（batch，k1，n1，n0，k0），batch可不存在，其中k0 = 32， n0 = 16， x1 shape中的k和x2 shape中的k1需要满足以下关系：ceil（k / 32） = k1, x2 shape中的n1与out的n满足以下关系: ceil(n / n0) = n1。
      • 在transposeX2为false情况下各个维度表示：（batch，n1，k1，k0，n0），batch可不存在，其中k0 = 16， n0 = 32， x1 shape中的k和x2 shape中的k1需要满足以下关系：ceil（k / 16） = k1, x2 shape中的n1与out的n满足以下关系: ceil(n / n0) = n1。
      • 可使用aclnnCalculateMatmulWeightSizeV2接口以及aclnnTransMatmulWeight接口完成输入Format从ND到昇腾亲和数据排布格式的转换。
      • [object Object]Atlas A2 训练系列产品/Atlas 800I A2 推理产品/A200I A2 Box 异构组件[object Object]、[object Object]Atlas A3 训练系列产品/Atlas A3 推理系列产品[object Object]、[object Object]Atlas 推理系列产品[object Object]：不支持非连续的tensor。
    • x1Scale（aclTensor*，计算输入）：公式中的输入x1Scale，device侧的aclTensor。可选的量化参数。
      • [object Object]Atlas A2 训练系列产品/Atlas 800I A2 推理产品/A200I A2 Box 异构组件[object Object]、[object Object]Atlas A3 训练系列产品/Atlas A3 推理系列产品[object Object]：数据类型支持FLOAT32，undefined支持ND，shape是1维（t，），t = m，其中m与x1的m一致。
      • [object Object]Atlas 推理系列产品[object Object]：不支持x1Scale。
    • x2Scale（aclTensor*，计算输入）：公式中的输入x2Scale，device侧的aclTensor。量化参数，undefined支持ND，shape是1维（t，），t = 1或n，其中n与x2的n一致。
      • [object Object]Atlas A2 训练系列产品/Atlas 800I A2 推理产品/A200I A2 Box 异构组件[object Object]、[object Object]Atlas A3 训练系列产品/Atlas A3 推理系列产品[object Object]：数据类型支持UINT64、INT64、FLOAT32、BFLOAT16。
      • [object Object]Atlas 推理系列产品[object Object]：数据类型支持UINT64、INT64。
      • 当原始输入类型不满足undefined中组合时，需提前调用TransQuantParamV2算子的aclnn接口来将scale转成INT64、UINT64数据类型。
    • yScale（aclTensor*，计算输入）：预留参数，当前版本不支持，需要传入nullptr或者空tensor。
    • x1Offset（aclTensor*，计算输入）：预留参数，当前版本不支持，需要传入nullptr或者空tensor。
    • x2Offset（aclTensor*，计算输入）：公式中的输入x2Offset，device侧的aclTensor。可选量化参数，数据类型支持FLOAT32，undefined支持ND，shape是1维（t，），t = 1或n，其中n与x2的n一致。
    • yOffset（aclTensor*，计算输入）：预留参数，当前版本不支持，需要传入nullptr或者空tensor。
    • bias（aclTensor*，计算输入）：公式中的输入bias，device侧的aclTensor。可选参数。undefined支持ND，shape支持1维（n，）或3维（batch，1，n），n与x2的n一致。当out的shape为2、4、5、6维时，bias的shape只支持1维（n，）。
      • [object Object]Atlas A2 训练系列产品/Atlas 800I A2 推理产品/A200I A2 Box 异构组件[object Object]、[object Object]Atlas A3 训练系列产品/Atlas A3 推理系列产品[object Object]：数据类型支持INT32、BFLOAT16、FLOAT16、FLOAT32。
      • [object Object]Atlas 推理系列产品[object Object]：数据类型支持INT32。
    • transposeX1（bool，计算输入）：表示x1的输入shape是否包含transpose，在transposeX1为false情况下各个维度表示：（batch，m，k），在transposeX1为true情况下各个维度表示：（batch，k，m），batch可不存在。
    • transposeX2（bool，计算输入）：表示x2的输入shape是否包含transpose，在transposeX2为true情况下各个维度表示：（batch，k1，n1，n0，k0），batch可不存在，其中k0 = 32，n0 = 16，x1 shape中的k和x2 shape中的k1需要满足以下关系：ceil（k / 32） = k1。在transposeX2为false情况下各个维度表示：（batch，n1，k1，k0，n0），batch可不存在，其中k0 = 16，n0 = 32，x1 shape中的k和x2 shape中的k1需要满足以下关系：ceil（k / 16） = k1。
    • groupSize（int64_t，计算输入）：预留参数，当前版本不支持，需要传入0。
    • out（aclTensor*，计算输出）：公式中的输出out，device侧的aclTensor。支持undefined，undefined支持ND，shape支持2~6维，（batch，m，n），batch可不存在，支持x1与x2的batch维度broadcast，输出batch与broadcast之后的batch一致，m与x1的m一致，n与x2的n1以及n0满足ceil(n / n0) = n1的关系。
      • [object Object]Atlas A2 训练系列产品/Atlas 800I A2 推理产品/A200I A2 Box 异构组件[object Object]、[object Object]Atlas A3 训练系列产品/Atlas A3 推理系列产品[object Object]：数据类型支持FLOAT16、INT8、BFLOAT16、INT32。
      • [object Object]Atlas 推理系列产品[object Object]：数据类型支持FLOAT16、INT8。
    • workspaceSize（uint64_t*，出参）：返回需要在Device侧申请的workspace大小。
    • executor（aclOpExecutor**，出参）：返回op执行器，包含了算子计算流程。

  • 返回值：

    aclnnStatus：返回状态码，具体参见undefined。

    [object Object]

aclnnQuantMatmulWeightNz

  • 参数说明：

    • workspace（void*，入参）：在Device侧申请的workspace内存地址。
    • workspaceSize（uint64_t，入参）：在Device侧申请的workspace大小，由第一段接口aclnnQuantMatmulWeightNzGetWorkspaceSize获取。
    • executor（aclOpExecutor*，入参）：op执行器，包含了算子计算流程。
    • stream（aclrtStream，入参）：指定执行任务的Stream。

  • 返回值：

    aclnnStatus：返回状态码，具体参见undefined。

约束说明

  • [object Object]Atlas A2 训练系列产品/Atlas 800I A2 推理产品/A200I A2 Box 异构组件[object Object]、[object Object]Atlas A3 训练系列产品/Atlas A3 推理系列产品[object Object]、[object Object]Atlas 推理系列产品[object Object]：支持调用本接口前，通过undefined对format为ND的x2处理得到昇腾亲和数据排布格式。 输入和输出支持以下数据类型组合：

  • [object Object]Atlas A2 训练系列产品/Atlas 800I A2 推理产品/A200I A2 Box 异构组件[object Object]、[object Object]Atlas A3 训练系列产品/Atlas A3 推理系列产品[object Object]：

    x1 x2 x1Scale x2Scale x2Offset bias out
    INT8 INT8 null UINT64/INT64 null null/INT32 FLOAT16
    INT8 INT8 null UINT64/INT64 null/FLOAT32 null/INT32 INT8
    INT8 INT8 null/FLOAT32 FLOAT32/BFLOAT16 null null/INT32/BFLOAT16/FLOAT32 BFLOAT16
    INT8 INT8 FLOAT32 FLOAT32 null null/INT32/FLOAT16/FLOAT32 FLOAT16
    INT8 INT8 null FLOAT32/BFLOAT16 null null/INT32 INT32

  • [object Object]Atlas 推理系列产品[object Object]：

    x1 x2 x1Scale x2Scale x2Offset bias out
    INT8 INT8 null UINT64/INT64 null null/INT32 FLOAT16
    INT8 INT8 null UINT64/INT64 null/FLOAT32 null/INT32 INT8

以下数据类型组合在x1Scale为null时，支持T-C && T-Tundefined， 在x1Scale不为null时支持K-C量化 && K-Tundefined。

x1 x2 x1Scale x2Scale x2Offset bias out
INT8 INT8 null UINT64/INT64 null null/INT32 FLOAT16/BFLOAT16
INT8 INT8 null UINT64/INT64 null/FLOAT32 null/INT32 INT8
INT8 INT8 null/FLOAT32 FLOAT32/BFLOAT16 null null/INT32/BFLOAT16/FLOAT32 BFLOAT16
INT8 INT8 FLOAT32 FLOAT32 null null/INT32/FLOAT16/FLOAT32 FLOAT16

调用示例