aclnnFakeQuantPerChannelAffineCachemask

支持的产品型号

• Atlas 训练系列产品。
• Atlas A2训练系列产品/Atlas 800I A2推理产品。

接口原型

每个算子分为undefined，必须先调用“aclnnFakeQuantPerChannelAffineCachemaskGetWorkspaceSize”接口获取入参并根据流程计算所需workspace大小，再调用“aclnnFakeQuantPerChannelAffineCachemask”接口执行计算。

• aclnnStatus aclnnFakeQuantPerChannelAffineCachemaskGetWorkspaceSize(const aclTensor* self, const aclTensor* scale, const aclTensor* zeroPoint, int64_t axis, int64_t quantMin, int64_t quantMax, aclTensor* out, aclTensor* mask, uint64_t* workspaceSize, aclOpExecutor** executor)
• aclnnStatus aclnnFakeQuantPerChannelAffineCachemask(void* workspace, uint64_t workspaceSize, aclOpExecutor* executor, aclrtStream stream)

功能描述

• 算子功能：对于输入数据self，使用scale和zero_point对输入self在指定轴axis上进行伪量化处理，并根据quant_min和quant_max对伪量化输出进行值域更新，最终返回结果out及对应位置掩码mask。
• 计算公式：根据算子功能先计算临时变量qval，再计算得出out和mask。

$$qval = Round(std::nearby\_int(self / scale) + zero\_point)$$ $$out = (Min(quant\_max, Max(quant\_min, qval)) - zero\_point) * scale$$ $$mask = (qval >= quant\_min) \& (qval <= quant\_max)$$

aclnnFakeQuantPerChannelAffineCachemaskGetWorkspaceSize

• 参数说明：

  • self(aclTensor*, 计算输入)：Device侧的aclTensor，数据类型支持FLOAT16、FLOAT32。支持非连续的Tensor，undefined支持ND。
  • scale(aclTensor*, 计算输入)：Device侧的aclTensor，表示输入伪量化的缩放系数。数据类型支持FLOAT16、FLOAT32，shape只支持1维。支持非连续的Tensor，undefined支持ND。
  • zeroPoint(aclTensor*, 计算输入)：Device侧的aclTensor，表示输入伪量化的零基准参数。数据类型支持INT32，shape只支持1维。支持非连续的Tensor，undefined支持ND。
  • axis(int64_t, 计算输入)：Host侧的整型，表示计算维度。
  • quantMin(int64_t, 计算输入)：Host侧的整型，表示输入数据伪量化后的最小值。
  • quantMax(int64_t, 计算输入)：Host侧的整型，表示输入数据伪量化后的最大值。
  • out(aclTensor*, 计算输出)：Device侧的aclTensor，数据类型支持LOAT16、FLOAT32，支持非连续Tensor，undefined支持ND。
  • mask(aclTensor*, 计算输出)：Device侧的aclTensor，数据类型支持BOOL，支持非连续Tensor，undefined支持ND。
  • workspaceSize(uint64_t*, 出参)：返回需要在Device侧申请的workspace大小。
  • executor(aclOpExecutor**, 出参)：返回op执行器，包含了算子计算流程。

• 返回值： aclnnStatus： 返回状态码，具体参见undefined。

  [object Object]

aclnnFakeQuantPerChannelAffineCachemask

• 参数说明：

  • workspace(void*, 入参)：在Device侧申请的workspace内存地址。
  • workspaceSize(uint64_t, 入参)：在Device侧申请的workspace大小，由第一段接口aclnnFakeQuantPerChannelAffineCachemaskGetWorkspaceSize获取。
  • executor(aclOpExecutor*, 入参)：op执行器，包含了算子计算流程。
  • stream(aclrtStream, 入参)：指定执行任务的 AscendCL Stream流。

• 返回值： aclnnStatus：返回状态码，具体参见undefined。

约束与限制

当前新算子FakeQuantPerChannelAffineCachemask不支持zero_point的float32和float16输入，故先在aclnn接口内部拦截，待算子支持后放开该限制。

调用示例

示例代码如下，仅供参考，具体编译和执行过程请参考undefined。