aclnnMatmulCompressDequant

支持的产品型号

• Atlas 推理系列产品。

接口原型

每个算子分为，必须先调用“aclnnMatmulCompressDequantGetWorkspaceSize”接口获取计算所需workspace大小以及包含了算子计算流程的执行器，再调用“aclnnMatmulCompressDequant”接口执行计算。

• aclnnStatus aclnnMatmulCompressDequantGetWorkspaceSize(const aclTensor *x1, const aclTensor *x2, const aclTensor *compressIndex, const aclTensor *bias, const aclTensor *deqScale, const aclTensor *offsetW, const int32_t offsetX, const aclIntArray *compressInfo, const aclTensor *out, uint64_t *workspaceSize, aclOpExecutor **executor)
• aclnnStatus aclnnMatmulCompressDequant(void *workspace, uint64_t workspaceSize, aclOpExecutor *executor, const aclrtStream stream)

功能描述

• 算子功能：完成矩阵计算过程中weight解压缩以及反量化功能(需要与CompressFcOp算子配合使用，压缩详细使用参考样例)。
• 计算公式：

$$x_2' = unzip(x2, compressIndex)\\ result=(x_1 @ x_2' + bias)*deqScale$$

aclnnMatmulCompressDequantGetWorkspaceSize

• 参数说明：

  • x1(aclTensor*, 计算输入)：Device侧的2维ND格式aclTensor，数据类型支持INT8，且数据类型需要与x2满足数据类型推导规则（参见）。不支持。

  • x2(aclTensor*, 计算输入)：Device侧的1维ND格式aclTensor，数据类型支持INT8，且解压后数据类型需要与x1满足数据类型推导规则（参见）。不支持，支持ND且需要与x1一致。x2'的Reduce维度需要与x1的Reduce维度大小相等。

  • compressIndex(aclTensor*, 计算输入)：Device侧的1维ND格式aclTensor，数据类型支持INT8，为x2压缩索引表。

  • bias(aclTensor*, 计算输入)：Device侧的2维ND格式aclTensor，数据类型仅支持INT32， 可选输入。

  • deqScale(aclTensor*, 计算输入)：Device侧的2维aclTensor或者scalar，数据类型仅支持UINT64。

  • offsetW(aclTensor*, 计算输入)：Device侧的aclTensor，数据类型是INT8，维度与x2'一致， 可选输入。

  • offsetX(const int32, 计算输入)：Host侧的标量，数据类型仅支持INT32。

  • compressInfo(aclIntArray, 计算输入)：Host侧整型数据列表，数据类型为INT64。其中包括压缩块信息tilingN、tilingK(通过modelslim工具中weight_compression模块压缩后获取)，以及压缩前x2矩阵原始shape，该shape为2维，最后包括压缩块方向标识。

  • out(aclTensor*, 计算输出)：Device侧的2维aclTensor，数据类型支持FLOAT16。支持ND，不支持。

  • workspaceSize(uint64_t*, 出参)：返回用户需要在Device侧申请的workspace大小。

  • executor(aclOpExecutor**, 出参)：返回op执行器，包含了算子计算流程。

• 返回值：

  aclnnStatus：返回状态码，具体参见。

  [object Object]

aclnnMatmulCompressDequant

• 参数说明：

  • workspace(void*, 入参)：在Device侧申请的workspace内存地址。

  • workspaceSize(uint64_t, 入参)：在Device侧申请的workspace大小，由第一段接口aclnnMatMulGetWorkspaceSize获取。

  • executor(aclOpExecutor*, 入参)：op执行器，包含了算子计算流程。

  • stream(aclrtStream, 入参)：指定执行任务的 AscendCL Stream流。

• 返回值：

  aclnnStatus：返回状态码，具体参见

约束与限制

无。

示例

示例编译和执行请参考

其中压缩过程请参考如下接口进行压缩，压缩后的weight和index，compress_info分别为以下aclnn调用示例的文件输入 使用以下接口时，需要对cann包中modelslim中压缩工具进行编译，具体可以参考ascend-toolkit/latest/python/site-packages/modelslim/pytorch/weight_compression目录下的README.md

若deqScale为float32类型数据，以int32读取并转换为int64

aclnn接口调用示例