aclnnFakeQuantPerChannelAffineCachemask

产品支持情况

产品	是否支持
[object Object]Atlas A3 训练系列产品/Atlas A3 推理系列产品[object Object]	√
[object Object]Atlas A2 训练系列产品/Atlas 800I A2 推理产品/A200I A2 Box 异构组件[object Object]	√
[object Object]Atlas 200I/500 A2 推理产品[object Object]	×
[object Object]Atlas 推理系列产品 [object Object]	×
[object Object]Atlas 训练系列产品[object Object]	×

功能说明

• 算子功能：对于输入数据self，使用scale和zero_point对输入self在指定轴axis上进行伪量化处理，并根据quant_min和quant_max对伪量化输出进行值域更新，最终返回结果out及对应位置掩码mask。
• 计算公式：根据算子功能先计算临时变量qval，再计算得出out和mask。$$qval = Round(std::nearby\_int(self / scale) + zero\_point)$$ $$out = (Min(quant\_max, Max(quant\_min, qval)) - zero\_point) * scale$$ $$mask = (qval >= quant\_min) \& (qval <= quant\_max)$$

函数原型

每个算子分为undefined，必须先调用“aclnnFakeQuantPerChannelAffineCachemaskGetWorkspaceSize”接口获取入参并根据流程计算所需workspace大小，再调用“aclnnFakeQuantPerChannelAffineCachemask”接口执行计算。

• aclnnStatus aclnnFakeQuantPerChannelAffineCachemaskGetWorkspaceSize(const aclTensor* self, const aclTensor* scale, const aclTensor* zeroPoint, int64_t axis, int64_t quantMin, int64_t quantMax, aclTensor* out, aclTensor* mask, uint64_t* workspaceSize, aclOpExecutor** executor)
• aclnnStatus aclnnFakeQuantPerChannelAffineCachemask(void* workspace, uint64_t workspaceSize, aclOpExecutor* executor, aclrtStream stream)

aclnnFakeQuantPerChannelAffineCachemaskGetWorkspaceSize

• 参数说明：

  • self(aclTensor*, 计算输入)：公式中的self，Device侧的aclTensor，数据类型支持FLOAT16、FLOAT32。支持undefined，undefined支持ND。
  • scale(aclTensor*, 计算输入)：公式中的scale，Device侧的aclTensor，表示输入伪量化的缩放系数。数据类型支持FLOAT16、FLOAT32，shape只支持1维。支持undefined，undefined支持ND。
  • zeroPoint(aclTensor*, 计算输入)：公式中的zero_point，Device侧的aclTensor，表示输入伪量化的零基准参数。数据类型支持INT32，shape只支持1维。支持undefined，undefined支持ND。
  • axis(int64_t, 计算输入)：Host侧的整型，表示计算维度。
  • quantMin(int64_t, 计算输入)：Host侧的整型，表示输入数据伪量化后的最小值。
  • quantMax(int64_t, 计算输入)：Host侧的整型，表示输入数据伪量化后的最大值。
  • out(aclTensor*, 计算输出)：公式中的out，Device侧的aclTensor，数据类型支持FLOAT16、FLOAT32，维度和计算输入self一致。支持undefined，undefined支持ND。
  • mask(aclTensor*, 计算输出)：公式中的mask，Device侧的aclTensor，数据类型支持BOOL，维度和计算输入self一致。支持undefined，undefined支持ND。
  • workspaceSize(uint64_t*, 出参)：返回需要在Device侧申请的workspace大小。
  • executor(aclOpExecutor**, 出参)：返回op执行器，包含了算子计算流程。

• 返回值：

  aclnnStatus：返回状态码，具体参见undefined。

  [object Object]

aclnnFakeQuantPerChannelAffineCachemask

• 参数说明：

  • workspace(void*, 入参)：在Device侧申请的workspace内存地址。
  • workspaceSize(uint64_t, 入参)：在Device侧申请的workspace大小，由第一段接口aclnnFakeQuantPerChannelAffineCachemaskGetWorkspaceSize获取。
  • executor(aclOpExecutor*, 入参)：op执行器，包含了算子计算流程。
  • stream(aclrtStream, 入参)：指定执行任务的Stream。

• 返回值：

  aclnnStatus：返回状态码，具体参见undefined。

约束说明

当前新算子FakeQuantPerChannelAffineCachemask不支持zero_point的float32和float16输入，故先在aclnn接口内部拦截，待算子支持后放开该限制。

调用示例

示例代码如下，仅供参考，具体编译和执行过程请参考undefined。