aclnnBatchNorm

产品支持情况

产品	是否支持
[object Object]Atlas A3 训练系列产品/Atlas A3 推理系列产品[object Object]	√
[object Object]Atlas A2 训练系列产品/Atlas 800I A2 推理产品/A200I A2 Box 异构组件[object Object]	√
[object Object]Atlas 200I/500 A2 推理产品[object Object]	×
[object Object]Atlas 推理系列产品 [object Object]	√
[object Object]Atlas 训练系列产品[object Object]	√

功能说明

• 算子功能：对一个批次的数据做正则化处理，正则化之后生成的数据的统计结果为0均值、1标准差。

• 计算公式：

  $$y = \frac{(x - E[x])}{\sqrt{Var(x) + ε}} * γ + β$$

  E(x)表示均值，Var(x)表示方差，均需要在算子内部计算得到；ε表示一个极小的浮点数，防止分母为0的情况。

函数原型

每个算子分为undefined，必须先调用“aclnnBatchNormGetWorkspaceSize”接口获取入参并根据流程计算所需workspace大小，再调用“aclnnBatchNorm”接口执行计算。

• aclnnStatus aclnnBatchNormGetWorkspaceSize(const aclTensor *input, const aclTensor *weight, const aclTensor *bias, aclTensor *runningMean, aclTensor *runningVar, bool training, double momentum, double eps, aclTensor *output, aclTensor *saveMean, aclTensor *saveInvstd, uint64_t *workspaceSize, aclOpExecutor **executor)
• aclnnStatus aclnnBatchNorm(void *workspace, uint64_t workspaceSize, aclOpExecutor *executor, aclrtStream stream)

aclnnBatchNormGetWorkspaceSize

• 参数说明：

  • input（aclTensor*，计算输入）：表示进行BatchNorm计算的输入。Device侧的aclTensor，对应公式中的x，支持undefined，支持空Tensor。支持的shape和格式有：2维（对应的格式为NC），3维（对应的格式为NCL），4维（对应的格式为NCHW），5维（对应的格式为NCDHW），6-8维（对应的格式为ND，其中第2维固定为channel轴）。

    • [object Object]Atlas 推理系列产品[object Object]、[object Object]Atlas 训练系列产品[object Object]：数据类型支持FLOAT、FLOAT16。
    • [object Object]Atlas A2 训练系列产品/Atlas 800I A2 推理产品/A200I A2 Box 异构组件[object Object]、[object Object]Atlas A3 训练系列产品/Atlas A3 推理系列产品[object Object]：数据类型支持FLOAT、FLOAT16、BFLOAT16。

  • weight（aclTensor*，计算输入）：可选参数，Device侧的aclTensor，表示进行BatchNorm计算的权重Tensor。对应公式中的$\gamma$，支持undefined，不支持空Tensor。undefined为ND。shape为1维，长度与input入参中channel轴的长度相等。

    • [object Object]Atlas 推理系列产品[object Object]、[object Object]Atlas 训练系列产品[object Object]：数据类型支持FLOAT、FLOAT16。
    • [object Object]Atlas A2 训练系列产品/Atlas 800I A2 推理产品/A200I A2 Box 异构组件[object Object]、[object Object]Atlas A3 训练系列产品/Atlas A3 推理系列产品[object Object]：数据类型支持FLOAT、FLOAT16、BFLOAT16。

  • bias（aclTensor*，计算输入）：可选参数，Device侧的aclTensor，表示进行BatchNorm计算的偏置Tensor。对应公式中的$\beta$，支持undefined，不支持空Tensor。undefined为ND。shape为1维，长度与input入参中channel轴的长度相等。

    • [object Object]Atlas 推理系列产品[object Object]、[object Object]Atlas 训练系列产品[object Object]：数据类型支持FLOAT、FLOAT16。
    • [object Object]Atlas A2 训练系列产品/Atlas 800I A2 推理产品/A200I A2 Box 异构组件[object Object]、[object Object]Atlas A3 训练系列产品/Atlas A3 推理系列产品[object Object]：数据类型支持FLOAT、FLOAT16、BFLOAT16。

  • runningMean（aclTensor*，计算输入）：可选参数，Device侧的aclTensor，训练期间计算的平均值，对应公式中的E(x)。支持undefined，不支持空Tensor。undefined为ND。shape为1维，长度与input入参中channel轴的长度相等。

    • [object Object]Atlas 推理系列产品[object Object]、[object Object]Atlas 训练系列产品[object Object]：数据类型支持FLOAT、FLOAT16。
    • [object Object]Atlas A2 训练系列产品/Atlas 800I A2 推理产品/A200I A2 Box 异构组件[object Object]、[object Object]Atlas A3 训练系列产品/Atlas A3 推理系列产品[object Object]：数据类型支持FLOAT、FLOAT16、BFLOAT16。

  • runningVar（aclTensor*，计算输入）：可选参数，Device侧的aclTensor，训练期间计算的方差，对应公式中的Var(x)。数值为非负数，支持undefined，不支持空Tensor。undefined为ND。shape为1维，长度与input入参中channel轴的长度相等。

    • [object Object]Atlas 推理系列产品[object Object]、[object Object]Atlas 训练系列产品[object Object]：数据类型支持FLOAT、FLOAT16。
    • [object Object]Atlas A2 训练系列产品/Atlas 800I A2 推理产品/A200I A2 Box 异构组件[object Object]、[object Object]Atlas A3 训练系列产品/Atlas A3 推理系列产品[object Object]：数据类型支持FLOAT、FLOAT16、BFLOAT16。

  • training（bool，计算输入）：Host侧的bool值，标记是否训练场景，true表示训练场景，false表示推理场景。

  • momentum（double，计算输入）：Host侧的double值，动量参数，用于更新运行均值和方差。

  • eps（double，计算输入）：Host侧的double值，对应公式中的ε，添加到方差中的值，以避免出现除以零的情况。

  • output（aclTensor *，计算输出）：表示BatchNorm的输出结果。Device侧的aclTensor，对应公式中的y，数据类型需要与input的数据类型一致，支持undefined，支持空Tensor。shape与input入参的shape相同，支持的shape和格式有：2维（对应的格式为NC），3维（对应的格式为NCL），4维（对应的格式为NCHW），5维（对应的格式为NCDHW），6-8维（对应的格式为ND，其中第2维固定为channel轴）。

    • [object Object]Atlas 推理系列产品[object Object]、[object Object]Atlas 训练系列产品[object Object]：数据类型支持FLOAT，FLOAT16。
    • [object Object]Atlas A2 训练系列产品/Atlas 800I A2 推理产品/A200I A2 Box 异构组件[object Object]、[object Object]Atlas A3 训练系列产品/Atlas A3 推理系列产品[object Object]：数据类型支持FLOAT，FLOAT16、BFLOAT16。

  • saveMean（aclTensor *，计算输出）：Device侧的aclTensor，保存的均值，只在训练场景输出。支持undefined，不支持空Tensor。undefined为ND。shape为1维，长度与input入参中channel轴的长度相等。

    • [object Object]Atlas 推理系列产品[object Object]、[object Object]Atlas 训练系列产品[object Object]：数据类型支持FLOAT，FLOAT16。
    • [object Object]Atlas A2 训练系列产品/Atlas 800I A2 推理产品/A200I A2 Box 异构组件[object Object]、[object Object]Atlas A3 训练系列产品/Atlas A3 推理系列产品[object Object]：数据类型支持FLOAT，FLOAT16、BFLOAT16。

  • saveInvstd（aclTensor *，计算输出）：Device侧的aclTensor，只在训练场景输出，支持undefined，不支持空Tensor。undefined为ND。shape为1维，长度与input入参中channel轴的长度相等。

    • [object Object]Atlas 推理系列产品[object Object]、[object Object]Atlas 训练系列产品[object Object]：表示input的方差，数据类型支持FLOAT，FLOAT16。
    • [object Object]Atlas A2 训练系列产品/Atlas 800I A2 推理产品/A200I A2 Box 异构组件[object Object]、[object Object]Atlas A3 训练系列产品/Atlas A3 推理系列产品[object Object]：表示input的方差，数据类型支持FLOAT，FLOAT16、BFLOAT16。

  • workspaceSize（uint64_t *，出参）：返回需要在Device侧申请的workspace大小。

  • executor（aclOpExecutor **，出参）：返回op执行器，包含了算子计算流程。

• 返回值：

  aclnnStatus：返回状态码，具体参见undefined。

  [object Object]

aclnnBatchNorm

• 参数说明：

  • workspace（void *，入参）：在Device侧申请的workspace内存地址。
  • workspaceSize（uint64_t，入参）：在Device侧申请的workspace大小，由第一段接口aclnnBatchNormGetWorkspaceSize获取。
  • executor（aclOpExecutor *，入参）：op执行器，包含了算子计算流程。
  • stream（aclrtStream，入参）：指定执行任务的Stream。

• 返回值：

  aclnnStatus：返回状态码，具体参见undefined。

约束说明

无。

调用示例

示例代码如下，仅供参考，具体编译和执行过程请参考undefined。