aclnnBatchNormGatherStatsWithCounts

支持的产品型号

• Atlas 训练系列产品。
• Atlas A2训练系列产品。

接口原型

每个算子分为，必须先调用“aclnnBatchNormGatherStatsWithCountsGetWorkspaceSize”接口获取入参并根据流程计算所需workspace大小，再调用“aclnnBatchNormGatherStatsWithCounts”接口执行计算。

• aclnnStatus aclnnBatchNormGatherStatsWithCountsGetWorkspaceSize(const aclTensor* input, const aclTensor* mean, const aclTensor* invstd, aclTensor* runningMean, aclTensor* runningVar, double momentum, double eps, const aclTensor* counts, aclTensor* meanAll, aclTensor* invstdAll, uint64_t* workspaceSize, aclOpExecutor** executor)
• aclnnStatus aclnnBatchNormGatherStatsWithCounts(void* workspace, uint64_t workspaceSize, aclOpExecutor* executor, const aclrtStream stream)

功能描述

• 算子功能： 收集所有device的均值和方差，更新全局的均值和方差。BatchNorm的性能和BatchSize相关，BatchSize越大，BatchNorm的统计量也会越准。然而像检测这样的任务，占用显存较高，一张显卡往往只拿较少的图片，比如两张来训练，这就导致BN的表现变差。一个解决方式就是SyncBatchNorm，所有卡共享同一个BatchNorm，得到全局的统计量。 batch_norm_gather_stats_with_counts计算时，依赖batch_norm_stats计算单卡数据的均值和标准差的倒数。

• 计算公式：

$$y = \frac{(x-E[x])}{\sqrt{Var(x)+ ε}} * γ + β$$

runningMean和runningVar更新公式如下：

$$runningMean=runningMean*(1-momentum) + E[x]*runningMean$$ $$runningVar=runningVar*(1-momentum) + E[x]*runningVar$$

aclnnBatchNormGatherStatsWithCountsGetWorkspaceSize

• 参数说明：

  • input(const aclTensor *, 计算输入): Device侧的aclTensor，数据类型仅支持FLOAT，FLOAT16，BFLOAT16(仅Atlas A2训练系列产品支持)，支持，支持的shape和格式有：2维（对应的格式为NC），3维（对应的格式为NCL），4维（对应的格式为NCHW），5维（对应的格式为NCDHW），6-8维（对应的格式为ND，其中第2维固定为channel轴）。
  • mean(const aclTensor *, 计算输入): 输入数据均值，Device侧的aclTensor，数据类型支持FLOAT，FLOAT16，BFLOAT16(仅Atlas A2训练系列产品支持)，支持非连续Tensor，为ND，二维Tensor，第一轴对应的大小与input入参中的C轴长度相同。
  • invstd(const aclTensor *, 计算输入): 输入数据标准差的倒数，Device侧的aclTensor，数据类型支持FLOAT，FLOAT16，BFLOAT16(仅Atlas A2训练系列产品支持)，支持非连续Tensor，为ND，二维Tensor，一轴对应的大小与input入参中的C轴长度相同，shape与mean对应的shape一致。支持元素值均大于0，小于等于0时，不做保证。
  • runningMean(aclTensor *, 计算输入): 训练时数据的均值，Device侧的aclTensor，数据类型支持FLOAT，FLOAT16，BFLOAT16(仅Atlas A2训练系列产品支持)，支持非连续Tensor，为ND，一维Tensor，长度与input入参中的C轴长度相同。
  • runningVar(aclTensor *, 计算输入): 训练时数据的方差，Device侧的aclTensor，数据类型支持FLOAT，FLOAT16，BFLOAT16(仅Atlas A2训练系列产品支持)，支持非连续Tensor，为ND，一维Tensor，长度与input入参中的C轴长度相同。支持元素值均大于0，小于等于0时，不做保证。
  • momentum(double *, 计算输入): runningMean和runningVar的指数平滑参数，默认值为1e-1。
  • eps(double *, 计算输入): 用于防止产生除0的偏移，host侧的double值，默认值为1e-5。
  • counts(const aclTensor *, 计算输入): 输入数据元素的个数，Device侧的Tensor，数据类型支持FLOAT，FLOAT16，BFLOAT16(仅Atlas A2训练系列产品支持)，支持非连续Tensor，为ND，一维Tensor，长度与mean/invstd入参0轴的长度相同。支持元素值均为正整数，其余场景不做保证。
  • meanAll(aclTensor *, 计算输出): 所有卡上数据的均值，Device侧的aclTensor，数据类型与input一致，支持非连续Tensor，与输入一致。
  • invstdAll(aclTensor *, 计算输出): 所有卡上数据的标准差的倒数，Device侧的aclTensor，数据类型与input一致，支持非连续Tensor，与输入一致。
  • workspaceSize(uint64_t *, 出参): 返回用户需要在Device侧申请的workspace大小。
  • executor(aclOpExecutor **, 出参): 返回op执行器，包含了算子计算流程。

• 返回值：

  aclnnStatus: 返回状态码，具体参见。

aclnnBatchNormGatherStatsWithCounts

• 参数说明：

  • workspace(void *, 入参): 在Device侧申请的workspace内存地址。
  • workspaceSize(uint64_t, 入参): 在Device侧申请的workspace大小，由第一段接口aclnnBatchNormGatherStatsWithCounts获取。
  • executor(aclOpExecutor *, 入参): op执行器，包含了算子计算流程。
  • stream(const aclrtStream , 入参): 指定执行任务的 AscendCL Stream流。

• 返回值：

  aclnnStatus: 返回状态码，具体参见。

约束与限制

无

调用示例

示例代码如下，仅供参考，具体编译和执行过程请参考。