aclnnQuantizedBatchNorm

产品支持情况

产品	是否支持
[object Object]Atlas A3 训练系列产品/Atlas A3 推理系列产品[object Object]	√
[object Object]Atlas A2 训练系列产品/Atlas 800I A2 推理产品/A200I A2 Box 异构组件[object Object]	√
[object Object]Atlas 200I/500 A2 推理产品[object Object]	×
[object Object]Atlas 推理系列产品 [object Object]	×
[object Object]Atlas 训练系列产品[object Object]	×

功能说明

• 算子功能：

  将输入Tensor做一个反量化的计算，再根据输入的weight、bias、epsilon做归一化，最后根据输出的outputScale以及outputZeroPoint做量化。

• 计算公式：

  1.反量化计算：

  $$x' = (x - inputZeroPoint) * inputScale$$

  2.归一化计算：

  $$y =\frac{x' - mean}{\sqrt{var + ϵ}} * γ + β$$

  3.量化计算：

  $$out = round(\frac{y}{outputScale} + outputZeroPoint)$$

函数原型

每个算子分为undefined，必须先调用“aclnnQuantizedBatchNormGetWorkspaceSize”接口获取入参并根据计算流程计算所需workspace大小，再调用“aclnnQuantizedBatchNorm”接口执行计算。

• aclnnStatus aclnnQuantizedBatchNormGetWorkspaceSize(const aclTensor* input, const aclTensor* mean, const aclTensor* var, const aclScalar* inputScale, const aclScalar* inputZeroPoint, const aclScalar* outputScale, const aclScalar* outputZeroPoint, aclTensor* weight, aclTensor* bias, float epsilon, aclTensor* output, uint64_t *workspaceSize, aclOpExecutor **executor)
• aclnnStatus aclnnQuantizedBatchNorm(void *workspace, uint64_t workspaceSize, aclOpExecutor *executor, aclrtStream stream)

aclnnQuantizedBatchNormGetWorkspaceSize

• 参数说明：

  • input（aclTensor*，计算输入）：输入张量，公式中的x，模型输入的量化后的数据，Device侧的aclTensor，数据类型支持INT8，UINT8，INT32。shape维度限制为4维，不支持空Tensor。支持undefined，undefined支持NCHW。
  • mean（aclTensor*，计算输入）：输入张量，公式中的mean，模型输入数据的均值，Device侧的aclTensor，数据类型支持Float。shape维度限制为1维，长度需与输入NCHW中的C相同，不支持空Tensor。支持undefined，undefined支持ND。
  • var（aclTensor*，计算输入）：输入张量，公式中的var，模型输入数据的方差，Device侧的aclTensor，数据类型支持Float。shape维度限制为1维，长度需与输入NCHW中的C相同，不支持空Tensor。支持undefined，undefined支持ND。
  • inputScale（aclScalar*，计算输入）：输入标量，公式中的inputScale，模型输入数据的缩放系数，Host侧的aclScalar，数据类型支持Float。undefined支持ND。
  • inputZeroPoint（aclScalar*，计算输入）：输入标量，公式中的inputZeroPoint，模型输入数据的偏置，Host侧的aclScalar，数据类型支持INT32。传入值不能超过input对应数据类型的上下边界，例如INT8上下边界为[-128,127]。undefined支持ND。
  • outputScale（aclScalar*，计算输入）：输入标量，公式中的outputScale，模型输出数据的缩放系数，Host侧的aclScalar，数据类型支持Float。undefined支持ND。
  • outputZeroPoint（aclScalar*，计算输入）：输入标量，公式中的outputZeroPoint，模型输出数据的偏置，Host侧的aclScalar，数据类型支持INT32。传入值不能超过input对应数据类型的上下边界，例如INT8上下边界为[-128,127]。undefined支持ND。
  • weight（aclTensor*，计算输入）：输入张量，公式中的γ，可选参数，归一化权重，Device侧的aclTensor，数据类型支持Float。shape维度限制为1维，长度需与输入参数input的数据格式NCHW中的C相同，不支持空Tensor。支持undefined，undefined支持ND。默认值为：1。
  • bias（aclTensor*，计算输入）：输入张量，公式中的β，可选参数，归一化偏置，Device侧的aclTensor，数据类型支持Float。shape维度限制为1维，长度需与输入NCHW中的C相同，不支持空Tensor。支持undefined，undefined支持ND。默认值为：0。
  • epsilon（float，计算输入）：公式中的ϵ，Host侧的float值，添加到方差中的值，以避免出现除以零的情况。
  • output（aclTensor*，计算输出）：输出张量，公式中的输出out，模型输出的量化后的数据，Device侧的aclTensor，数据类型支持INT8，UINT8，INT32。支持undefined，undefined支持NCHW。shape、数据格式、数据类型与输入input的保持一致。
  • workspaceSize（uint64_t*，出参）：返回用户需要在Device侧申请的workspace大小。
  • executor（aclOpExecutor**，出参）：返回op执行器，包含了算子计算流程。

• 返回值：

  aclnnStatus：返回状态码，具体参见undefined。

  [object Object]

aclnnQuantizedBatchNorm

• 参数说明：

  • workspace（void*，入参）：在Device侧申请的workspace内存地址。
  • workspaceSize（uint64_t，入参）：在Device侧申请的workspace大小，由第一段接口aclnnQuantizedBatchNormGetWorkspaceSize获取。
  • executor（aclOpExecutor*，入参）：op执行器，包含了算子计算流程。
  • stream（aclrtStream，入参）：指定执行任务的Stream。

• 返回值：

  aclnnStatus：返回状态码，具体参见undefined。

约束说明

当任一输入为空Tensor，输出为空Tensor。

调用示例

示例代码如下，仅供参考，具体编译和执行过程请参考undefined。