aclnnAscendQuant

支持的产品型号

• Atlas 推理系列产品。
• Atlas A2训练系列产品/Atlas 800I A2推理产品。

接口原型

每个算子分为undefined，必须先调用“aclnnAscendQuantGetWorkspaceSize”接口获取计算所需workspace大小以及包含了算子计算流程的执行器，再调用“aclnnAscendQuant”接口执行计算。

• aclnnStatus aclnnAscendQuantGetWorkspaceSize(const aclTensor *x, const aclTensor *scale, const aclTensor *offset, bool sqrtMode, const char *roundMode, int32_t dstType, const aclTensor *y, uint64_t *workspaceSize, aclOpExecutor **executor)

• aclnnStatus aclnnAscendQuant(void *workspace, uint64_t workspaceSize, aclOpExecutor *executor, aclrtStream stream)

功能描述

• 算子功能：对输入x进行量化操作，scale和offset的size需要是x的最后一维或1。
• 计算公式：$$y = round((x * scale) + offset)$$ sqrt_mode为true时，计算公式为:$$y = round((x * scale * scale) + offset)$$

aclnnAscendQuantGetWorkspaceSize

• 参数说明：

  • x(const aclTensor*，计算输入)：Device侧的aclTensor，需要做量化的输入。支持undefined，undefined支持ND。如果dstType为3，Shape的最后一维需要能被8整除；如果dstType为29，Shape的最后一维需要能被2整除。
    • Atlas A2训练系列产品/Atlas 800I A2推理产品: 数据类型支持FLOAT32,FLOAT16,BFLOAT16。
    • Atlas 推理系列产品: 数据类型支持FLOAT32,FLOAT16。
  • scale(const aclTensor*，计算输入)：Device侧的aclTensor，量化中的scale值。scale为1维张量或多维张量(1维时，scale的第0维需要等于x的最后一维或等于1。多维时，最后一个维度需要和x保持一致，其他维度为1)。支持undefined，undefined支持ND。如果x的dtype不是FLOAT32，需要和x的dtype一致。
    • Atlas A2训练系列产品/Atlas 800I A2推理产品: 数据类型支持FLOAT32,FLOAT16,BFLOAT16。
    • Atlas 推理系列产品: 数据类型支持FLOAT32,FLOAT16。
  • offset(const aclTensor*，计算输入)：可选参数，Device侧的aclTensor，反向量化中的offset值。offset为1维张量或多维张量(1维时，offset的第0维需要等于x的最后一维或等于1。多维时，最后一个维度需要和x保持一致，其他维度为1)。数据类型和shape需要与scale保持一致。支持undefined，undefined支持ND。
    • Atlas A2训练系列产品/Atlas 800I A2推理产品: 数据类型支持FLOAT32,FLOAT16,BFLOAT16。
    • Atlas 推理系列产品: 数据类型支持FLOAT32,FLOAT16。
  • sqrtMode(bool，计算输入): host侧的bool，指定scale参与计算的逻辑，当取值为true时，公式为y = round((x * scale * scale) + offset)。数据类型支持：BOOL。
  • roundMode(string，计算输入): host侧的string，指定cast到int8输出的转换方式，支持取值round/ceil/trunc/floor。
  • dstType(int32_t，计算输入): host侧的int32_t，指定输出的数据类型，该属性数据类型支持：int。
    • Atlas A2训练系列产品/Atlas 800I A2推理产品: 支持取值2，3，29，分别表示INT8，INT32，INT4。
    • Atlas 推理系列产品: 支持取值2，表示INT8。
  • y(aclTensor*，计算输出): Device侧的aclTensor。类型为INT32时，Shape的最后一维是x最后一维的1/8，其余维度和x一致; 其他类型时，Shape与x一致。支持空Tensor，支持undefined。undefined支持ND。
    • Atlas A2训练系列产品/Atlas 800I A2推理产品: 数据类型支持INT8，INT32，INT4。
    • Atlas 推理系列产品: 数据类型支持INT8。
  • workspaceSize(uint64_t*，出参)：返回需要在Device侧申请的workspace大小。
  • executor(aclOpExecutor**，出参)：返回op执行器，包含了算子计算流程。

• 返回值：

  aclnnStatus：返回状态码，具体参见undefined。

  [object Object]

aclnnAscendQuant

• 参数说明：

  • workspace(void*，入参)：在Device侧申请的workspace内存地址。
  • workspaceSize(uint64_t，入参)：在Device侧申请的workspace大小，由第一段接口aclnnAscendQuantGetWorkspaceSize获取。
  • executor(aclOpExecutor*，入参)：op执行器，包含了算子计算流程。
  • stream(aclrtStream，入参)：指定执行任务的AscendCL Stream流。

• 返回值：

  aclnnStatus：返回状态码，具体参见undefined。

约束与限制

Atlas 推理系列产品不支持scale、offset及输入x为bf16。

调用示例

示例代码如下，仅供参考，具体编译和执行过程请参考undefined。