aclnnAdaLayerNormQuant

产品支持情况

产品	是否支持
[object Object]Atlas A3 训练系列产品/Atlas A3 推理系列产品[object Object]	√
[object Object]Atlas A2 训练系列产品/Atlas 800I A2 推理产品/A200I A2 Box 异构组件[object Object]	√
[object Object]Atlas 200I/500 A2 推理产品[object Object]	×
[object Object]Atlas 推理系列产品 [object Object]	×
[object Object]Atlas 训练系列产品[object Object]	×

功能说明

• 算子功能：AdaLayerNormQuant算子将AdaLayerNorm和下游的量化（目前仅支持DynamicQuant）融合起来。该算子主要是用于执行自适应层归一化的量化操作，即将输入数据进行归一化处理，并将其量化为低精度整数，以提高计算效率和减少内存占用。

• 计算公式：

  1.先对输入x进行LayerNorm归一化处理：

  $$LayerNorm(x) = {{x-E(x)}\over\sqrt {Var(x)+epsilon}} * weight + bias$$

  2.再通过自适应参数scale和shift来调整归一化结果：

  $$y = LayerNorm(x) * (1 + scale) + shift$$

  3.若smoothScales不为空，则：

  $$y = y \cdot smoothScales$$

  4.然后对y计算最大绝对值并除以127以计算需量化为INT8格式的量化因子：

  $$quantScale = row\_max(abs(y)) / 127$$

  5.最后y除以量化因子再四舍五入得到量化输出：

  $$out = round(y / quantScale)$$

  其中，E(x)表示输入的均值，Var(x)表示输入的方差，row_max代表每行求最大值。

函数原型

每个算子分为undefined，必须先调用“aclnnAdaLayerNormQuantGetWorkspaceSize”接口获取计算所需workspace大小以及包含了算子计算流程的执行器，再调用“aclnnAdaLayerNormQuant”接口执行计算。

• aclnnStatus aclnnAdaLayerNormQuantGetWorkspaceSize(const aclTensor* x, const aclTensor* scale, const aclTensor* shift, const aclTensor* weightOptional, const aclTensor* biasOptional, const aclTensor* smoothScalesOptional, double epsilon, const char* quantMode, aclTensor* out, aclTensor* quantScale, aclTensor* quantOffsetOptional, uint64_t* workspaceSize, aclOpExecutor** executor)
• aclnnStatus aclnnAdaLayerNormQuant(void *workspace, uint64_t workspaceSize, aclOpExecutor *executor, aclrtStream stream)

aclnnAdaLayerNormQuantGetWorkspaceSize

• 参数说明：

  • x（aclTensor*，计算输入）：输入待处理的数据，公式中的输入x，Device侧的aclTensor。shape为[B, S, H]，其中B支持0到6维。支持undefined，不支持空Tensor，undefined支持ND，数据类型支持FLOAT16、BFLOAT16。
  • scale（aclTensor*，计算输入）：自适应缩放参数，公式中的输入scale，Device侧的aclTensor。shape为[B, H]或[B, 1, H]，其中B支持0到6维，维度数量和大小与x中的B保持一致，H与x中H维一致。支持undefined，不支持空Tensor，undefined支持ND，数据类型支持FLOAT16、BFLOAT16，数据类型与入参x的数据类型一致。
  • shift（aclTensor*，计算输入）：自适应偏移参数，公式中的输入shift，Device侧的aclTensor，shape为[B, H]或[B, 1, H]，其中B支持0到6维，维度数量和大小与x中的B保持一致，H与x中H维一致。支持undefined，不支持空Tensor，undefined支持ND，数据类型支持FLOAT16、BFLOAT16，数据类型与入参x的数据类型一致。
  • weightOptional（aclTensor*，计算输入）：归一化缩放参数，公式中的输入weight，可选参数，Device侧的aclTensor，shape为[H]，H与x中H维一致。支持undefined，不支持空Tensor，undefined支持ND，数据类型支持FLOAT16、BFLOAT16，数据类型与入参x的数据类型一致。
  • biasOptional（aclTensor*，计算输入）：归一化偏移参数，公式中的输入bias，可选参数，Device侧的aclTensor，shape为[H]，H与x中H维一致。支持undefined，不支持空Tensor，undefined支持ND，数据类型支持FLOAT16、BFLOAT16，数据类型与入参x的数据类型一致。
  • smoothScalesOptional（aclTensor*，计算输入）：量化的平滑权重，公式中的输入smoothScales，可选参数，Device侧的aclTensor，shape为[H]，H与x中H维一致。支持undefined，不支持空Tensor，undefined支持ND，数据类型支持FLOAT16、BFLOAT16，数据类型与入参x的数据类型一致。
  • epsilon（double, 计算输入）：公式中的输入epsilon，用于规避除零计算，Host侧的double型参数。
  • quantMode（char*，计算输入）：量化模式，Host侧的string型参数。当前版本仅支持“dynamic” 。
  • out（aclTensor*，计算输出）：量化输出，公式中的输出out，Device侧的aclTensor，shape与x保持一致。支持undefined，不支持空Tensor，undefined支持ND，数据类型支持INT8。
  • quantScale（aclTensor*，计算输出）：量化系数，公式中的输出quantScale，Device侧的aclTensor，shape为[B, S]，其中B支持0到6维，维度数量和大小与x中的B保持一致，S与x中S维一致。支持undefined，不支持空Tensor，undefined支持ND，数据类型支持FLOAT32。
  • quantOffsetOptional（aclTensor*，计算输出）：非对称量化使用的offset，Device侧的aclTensor，可选输出，shape和quantScale保持一致。支持undefined，不支持空Tensor，undefined支持ND，数据类型支持FLOAT。当前版本暂不支持，传nullptr。
  • workspaceSize（uint64_t*，出参）：返回需要在Device侧申请的workspace大小。
  • executor（aclOpExecutor**，出参）：返回op执行器，包含了算子计算流程。

返回值：

aclnnStatus：返回状态码，具体参见undefined。

aclnnAdaLayerNormQuant

• 参数说明：

  • workspace（void*，入参）：在Device侧申请的workspace内存地址。
  • workspaceSize（uint64_t，入参）：在Device侧申请的workspace大小，由第一段接口aclnnAdaLayerNormQuantGetWorkspaceSize获取。
  • executor（aclOpExecutor*，入参）：op执行器，包含了算子计算流程。
  • stream（aclrtStream，入参）：指定执行任务的Stream。

• 返回值：

  aclnnStatus：返回状态码，具体参见undefined。

约束说明

aclnnAdaLayerNormQuant默认为确定性实现，配置确定性计算开关也不会生效。

调用示例

示例代码如下，仅供参考，具体编译和执行过程请参考undefined。