aclnnBatchNormGatherStatsWithCounts

产品支持情况

产品	是否支持
[object Object]Atlas A3 训练系列产品/Atlas A3 推理系列产品[object Object]	√
[object Object]Atlas A2 训练系列产品/Atlas 800I A2 推理产品/A200I A2 Box 异构组件[object Object]	√
[object Object]Atlas 200I/500 A2 推理产品[object Object]	×
[object Object]Atlas 推理系列产品 [object Object]	×
[object Object]Atlas 训练系列产品[object Object]	√

功能说明

• 算子功能： 收集所有device的均值和方差，更新全局的均值和标准差的倒数。BatchNorm的性能和BatchSize相关，BatchSize越大，BatchNorm的统计量也会越准。然而像检测这样的任务，占用显存较高，一张显卡往往只拿较少的图片，比如两张来训练，这就导致BN的表现变差。一个解决方式就是SyncBatchNorm，所有卡共享同一个BatchNorm，得到全局的统计量。 aclnnBatchNormGatherStatsWithCounts计算时，依赖undefined计算单卡数据的均值和标准差的倒数。

• 计算公式：

  $$y = \frac{(x-E[x])}{\sqrt{Var(x)+ ε}} * γ + β$$

  runningMean和runningVar更新公式如下：

  $$runningMean=runningMean*(1-momentum) + E[x]*runningMean$$ $$runningVar=runningVar*(1-momentum) + E[x]*runningVar$$

函数原型

每个算子分为undefined，必须先调用“aclnnBatchNormGatherStatsWithCountsGetWorkspaceSize”接口获取入参并根据流程计算所需workspace大小，再调用“aclnnBatchNormGatherStatsWithCounts”接口执行计算。

• aclnnStatus aclnnBatchNormGatherStatsWithCountsGetWorkspaceSize(const aclTensor* input, const aclTensor* mean, const aclTensor* invstd, aclTensor* runningMean, aclTensor* runningVar, double momentum, double eps, const aclTensor* counts, aclTensor* meanAll, aclTensor* invstdAll, uint64_t* workspaceSize, aclOpExecutor** executor)
• aclnnStatus aclnnBatchNormGatherStatsWithCounts(void* workspace, uint64_t workspaceSize, aclOpExecutor* executor, const aclrtStream stream)

aclnnBatchNormGatherStatsWithCountsGetWorkspaceSize

• 参数说明：

  • input（aclTensor*，计算输入）：表示进行统计的样本值。对应公式中的x。Device侧的aclTensor，shape支持2-8维，其中第2维固定为channel轴，支持undefined，不支持空Tensor。undefined支持ND。
    • [object Object]Atlas 训练系列产品[object Object]：数据类型支持FLOAT、FLOAT16。
    • [object Object]Atlas A2 训练系列产品/Atlas 800I A2 推理产品/A200I A2 Box 异构组件[object Object]、[object Object]Atlas A3 训练系列产品/Atlas A3 推理系列产品[object Object]：数据类型支持FLOAT、FLOAT16、BFLOAT16。
  • mean（aclTensor*，计算输入）：输入数据均值，对应公式中的E(x)。Device侧的aclTensor，shape支持2维，第一维的size需要与invstd和counts一致，第二维对应的size需要与input的Channel轴size一致，支持undefined，不支持空Tensor，undefined支持ND。
    • [object Object]Atlas 训练系列产品[object Object]：数据类型支持FLOAT、FLOAT16。
    • [object Object]Atlas A2 训练系列产品/Atlas 800I A2 推理产品/A200I A2 Box 异构组件[object Object]、[object Object]Atlas A3 训练系列产品/Atlas A3 推理系列产品[object Object]：数据类型支持FLOAT、FLOAT16、BFLOAT16。
  • invstd（aclTensor*，计算输入）：输入数据标准差的倒数，对应公式中的$\frac{1}{\sqrt{Var(x)+ ε}}$。Device侧的aclTensor，shape支持2维，第一维的size需要与mean和counts一致，第二维对应的size需要与input的Channel轴size一致，支持undefined，不支持空Tensor。undefined支持ND。支持元素值均大于0，小于等于0时，不做保证。
    • [object Object]Atlas 训练系列产品[object Object]：数据类型支持FLOAT、FLOAT16。
    • [object Object]Atlas A2 训练系列产品/Atlas 800I A2 推理产品/A200I A2 Box 异构组件[object Object]、[object Object]Atlas A3 训练系列产品/Atlas A3 推理系列产品[object Object]：数据类型支持FLOAT、FLOAT16、BFLOAT16。
  • runningMean（aclTensor*，计算输入）：用于跟踪整个训练过程中的均值，对应公式中的runningMean。Device侧的aclTensor，当runningMean非空指针时，shape支持1维，size需要与input的Channel轴size一致，支持undefined，不支持空Tensor。undefined支持ND。支持元素值均大于0，小于等于0时，不做保证。
    • [object Object]Atlas 训练系列产品[object Object]：数据类型支持FLOAT、FLOAT16。
    • [object Object]Atlas A2 训练系列产品/Atlas 800I A2 推理产品/A200I A2 Box 异构组件[object Object]、[object Object]Atlas A3 训练系列产品/Atlas A3 推理系列产品[object Object]：数据类型支持FLOAT、FLOAT16、BFLOAT16。
  • runningVar（aclTensor*，计算输入）：用于跟踪整个训练过程中的方差，对应公式中的runningVar。Device侧的aclTensor，当runningMean非空指针时，shape支持1维，size需要与input的Channel轴size一致，支持undefined，不支持空Tensor。undefined支持ND。支持元素值均大于0，小于等于0时，不做保证。
    • [object Object]Atlas 训练系列产品[object Object]：数据类型支持FLOAT、FLOAT16。
    • [object Object]Atlas A2 训练系列产品/Atlas 800I A2 推理产品/A200I A2 Box 异构组件[object Object]、[object Object]Atlas A3 训练系列产品/Atlas A3 推理系列产品[object Object]：数据类型支持FLOAT、FLOAT16、BFLOAT16。
  • momentum（double，计算输入）：Host侧的double，runningMean和runningVar的指数平滑参数，对应公式中的momentum。
  • eps（double，计算输入）：Host侧的double，对应公式中的eps。用于防止产生除0的偏移。
  • counts（aclTensor*，计算输入）：输入数据元素的个数，Device侧的Tensor，shape支持一维，第一维的size需要与mean和invstd的第一维的size一致，支持undefined，不支持空Tensor。undefined支持ND。支持元素值均为正整数，其余场景不做保证。
    • [object Object]Atlas 训练系列产品[object Object]：数据类型支持FLOAT、FLOAT16。
    • [object Object]Atlas A2 训练系列产品/Atlas 800I A2 推理产品/A200I A2 Box 异构组件[object Object]、[object Object]Atlas A3 训练系列产品/Atlas A3 推理系列产品[object Object]：数据类型支持FLOAT、FLOAT16、BFLOAT16。
  • meanAll（aclTensor*，计算输出）：所有卡上数据的均值，对应公式中的E(x)。Device侧的aclTensor，shape支持1维，shape需要与input的channel轴一致，支持undefined，不支持空Tensor。undefined与输入一致。
    • [object Object]Atlas 训练系列产品[object Object]：数据类型支持FLOAT、FLOAT16。
    • [object Object]Atlas A2 训练系列产品/Atlas 800I A2 推理产品/A200I A2 Box 异构组件[object Object]、[object Object]Atlas A3 训练系列产品/Atlas A3 推理系列产品[object Object]：数据类型支持FLOAT、FLOAT16、BFLOAT16。
  • invstdAll（aclTensor*，计算输出）：所有卡上数据的标准差的倒数，对应公式中的$\frac{1}{\sqrt{Var(x)+ ε}}$。Device侧的aclTensor，shape支持1维，shape需要与input的channel轴一致，支持undefined，不支持空Tensor。undefined与输入一致。
    • [object Object]Atlas 训练系列产品[object Object]：数据类型支持FLOAT、FLOAT16。
    • [object Object]Atlas A2 训练系列产品/Atlas 800I A2 推理产品/A200I A2 Box 异构组件[object Object]、[object Object]Atlas A3 训练系列产品/Atlas A3 推理系列产品[object Object]：数据类型支持FLOAT、FLOAT16、BFLOAT16。
  • workspaceSize（uint64_t*，出参）：返回需要在Device侧申请的workspace大小。
  • executor（aclOpExecutor**，出参）：返回op执行器，包含了算子计算流程。

• 返回值：

  aclnnStatus：返回状态码，具体参见undefined。

  [object Object]

aclnnBatchNormGatherStatsWithCounts

• 参数说明：

  • workspace（void *，入参）：在Device侧申请的workspace内存地址。
  • workspaceSize（uint64_t，入参）：在Device侧申请的workspace大小，由第一段接口aclnnBatchNormGatherStatsWithCountsGetWorkspaceSize获取。
  • executor（aclOpExecutor *，入参）：op执行器，包含了算子计算流程。
  • stream（aclrtStream，入参）：指定执行任务的Stream。

• 返回值：

  aclnnStatus：返回状态码，具体参见undefined。

约束说明

无。

调用示例

示例代码如下，仅供参考，具体编译和执行过程请参考undefined。