aclnnAdaLayerNormQuant

产品支持情况

[object Object]undefined

功能说明

• 接口功能：AdaLayerNormQuant算子将AdaLayerNorm和下游的量化（目前仅支持DynamicQuant）融合起来。该算子主要是用于执行自适应层归一化的量化操作，即将输入数据进行归一化处理，并将其量化为低精度整数，以提高计算效率和减少内存占用。

• 计算公式：

  1.先对输入x进行LayerNorm归一化处理：

  $$LayerNorm(x) = {{x-E(x)}\over\sqrt {Var(x)+epsilon}} * weightOptional + biasOptional$$

  2.再通过自适应参数scale和shift来调整归一化结果：

  $$y = LayerNorm(x) * (1 + scale) + shift$$

  3.若smoothScalesOptional不为空，则：

  $$y = y \cdot smoothScalesOptional$$

  4.然后对y计算最大绝对值并除以127以计算需量化为INT8格式的量化因子：

  $$quantScale = row\_max(abs(y)) / 127$$

  5.最后y除以量化因子再四舍五入得到量化输出：

  $$out = round(y / quantScale)$$

  其中，E(x)表示输入的均值，Var(x)表示输入的方差，row_max代表每行求最大值。

函数原型

每个算子分为，必须先调用“aclnnAdaLayerNormQuantGetWorkspaceSize”接口获取计算所需workspace大小以及包含了算子计算流程的执行器，再调用“aclnnAdaLayerNormQuant”接口执行计算。

aclnnAdaLayerNormQuantGetWorkspaceSize

• 参数说明：

  [object Object]

返回值：

aclnnStatus：返回状态码，具体参见。

第一段接口完成入参校验，出现以下场景时报错：

[object Object]

aclnnAdaLayerNormQuant

• 参数说明：

  [object Object]

• 返回值：

  aclnnStatus：返回状态码，具体参见。

约束说明

• 确定性计算：
  • aclnnAdaLayerNormQuant默认确定性实现。

调用示例

示例代码如下，仅供参考，具体编译和执行过程请参考。