aclnnQuantMatmulDequant

产品支持情况

[object Object]undefined

功能说明

• 算子功能：对输入x进行量化，矩阵乘以及反量化。
• 计算公式：
  1.若输入smoothScaleOptional，则$$x = x\cdot scale_{smooth}$$ 2.若不输入xScaleOptional，则为动态量化，需要计算x量化系数。$$scale_{x}=row\_max(abs(x))/max_{quantDataType}$$ 3.量化$$x_{quantized}=round(x/scale_{x})$$ 4.矩阵乘+反量化

  • 4.1 若输入的$scale_{weight}$数据类型为FLOAT32, 则：

    $$out = (x_{quantized}@weight_{quantized} + bias) * scale_{weight} * scale_{x}$$

  • 4.2 若输入的$scale_{weight}$数据类型为INT64, 则：

    $$scale_{weight} = torch.tensor(np.frombuffer(scale_{weight}.numpy().astype(np.int32).tobytes(), dtype=np.float32)) \\ out = (x_{quantized}@weight_{quantized} + bias) * scale_{weight}$$

    特别说明：如果是上述4.2场景，说明$scale_{weight}$输入前已经和$scale_{x}$做过了矩阵乘运算，因此算子内部计算时省略了该步骤，这要求必须要是pertensor静态量化的场景。即输入前要对$scale_{weight}做如下处理得到INT64类型的数据：

    $$scale_{weight} = scale_{weight} * scale_{x} \\ scale_{weight} = torch.tensor(np.frombuffer(scale_{weight}.numpy().astype(np.float32). \\tobytes(), dtype=np.int32).astype(np.int64))$$

函数原型

每个算子分为，必须先调用“aclnnQuantMatmulDequantGetWorkspaceSize”接口获取入参并根据流程计算所需workspace大小，再调用“aclnnQuantMatmulDequant”接口执行计算。

aclnnQuantMatmulDequantGetWorkspaceSize

• 参数说明：

  [object Object]
  • weight参数ND格式下，shape支持2维。
    • 在transposeWeight为true情况下各个维度表示：（n，k）。
    • 在transposeWeight为false情况下各个维度表示：（k，n）。
  • weight参数FRACTAL_NZ格式下，shape支持4维。
    • 在transposeWeight为true情况下各个维度表示：（k1，n1，n0，k0），其中k0 = 32，n0 = 16，k1和x的k需要满足以下关系：ceilDiv（k，32）= k1。
    • 在transposeWeight为false情况下各个维度表示：（n1，k1，k0，n0），其中k0 = 16，n0 = 32，k1和x的k需要满足以下关系：ceilDiv（k，16）= k1。
    • 可使用aclnnCalculateMatmulWeightSizeV2接口以及aclnnTransMatmulWeight接口完成输入Format从ND到FRACTAL_NZ格式的转换。

• 返回值：

  aclnnStatus：返回状态码，具体参见。

  第一段接口会完成入参校验，出现以下场景时报错：

  [object Object]

aclnnQuantMatmulDequant

• 参数说明：

  [object Object]

• 返回值：

  aclnnStatus: 返回状态码，具体参见。

约束说明

• 确定性说明：

  • [object Object]Atlas 训练系列产品[object Object]、[object Object]Atlas 推理系列产品[object Object]：aclnnQuantMatmulDequant默认确定性实现。

• n，k都需要是16的整数倍。

• 当weightScale数据类型为INT64时，必须要求xScaleOptional数据类型为FLOAT16，且xQuantMode值为pertensor；当xScaleOptional数据类型为FLOAT16时，必须要求weightScale数据类型为INT64，且xQuantMode值为pertensor。

调用示例

示例代码如下，仅供参考，具体编译和执行过程请参考。