昇腾社区首页
中文
注册
开发者
下载

aclnnAddLayerNorm

产品支持情况

[object Object]undefined

功能说明

  • 算子功能:实现AddLayerNorm功能。
  • 计算公式x=x1+x2+biasOptionalx = x1 + x2 + biasOptional rstd=1Var(x)+epsrstd = {{1}\over\sqrt {Var(x)+eps}} y=(xxˉ)rstdγ+βy = (x-\bar{x}) * rstd * \gamma + \beta

函数原型

每个算子分为,必须先调用[object Object]接口获取入参并根据计算流程所需workspace大小,再调用[object Object]接口执行计算。

  • [object Object]
  • [object Object]

aclnnAddLayerNormGetWorkspaceSize

  • 参数说明:

    • x1(aclTensor *,计算输入):表示AddLayerNorm中加法计算的输入,公式中的[object Object],将会在算子内做(x1 + x2 + biasOptional)的计算并对计算结果做层归一化;是Device侧的aclTensor,shape支持1-8维度,不支持输入的某一维的值为0,支持ND。
      • [object Object]Atlas 推理系列产品[object Object]:数据类型支持FLOAT32、FLOAT16。
      • [object Object]Atlas A2 训练系列产品/Atlas A2 推理系列产品[object Object]、[object Object]Atlas A3 训练系列产品/Atlas A3 推理系列产品[object Object]:数据类型支持FLOAT32、FLOAT16、BFLOAT16。
    • x2(aclTensor *,计算输入):表示AddLayerNorm中加法计算的输入,公式中的[object Object],将会在算子内做(x1 + x2 + biasOptional)的计算并对计算结果做层归一化;是Device侧的aclTensor,shape需要与[object Object]一致,支持ND。
      • [object Object]Atlas 推理系列产品[object Object]:数据类型支持FLOAT32、FLOAT16。
      • [object Object]Atlas A2 训练系列产品/Atlas A2 推理系列产品[object Object]、[object Object]Atlas A3 训练系列产品/Atlas A3 推理系列产品[object Object]:数据类型支持FLOAT32、FLOAT16、BFLOAT16。
    • beta(aclTensor *,计算输入):对应LayerNorm计算公式中的β\beta,表示层归一化中的[object Object]参数;是Device侧的aclTensor,shape支持1-8维度,与[object Object]需要norm的维度值相同,支持ND。
      • [object Object]Atlas 推理系列产品[object Object]:数据类型支持FLOAT32、FLOAT16。
      • [object Object]Atlas A2 训练系列产品/Atlas A2 推理系列产品[object Object]、[object Object]Atlas A3 训练系列产品/Atlas A3 推理系列产品[object Object]:数据类型支持FLOAT32、FLOAT16、BFLOAT16。
    • gamma(aclTensor *,计算输入):对应LayerNorm计算公式中的γ\gamma,表示层归一化中的[object Object]参数;是Device侧的aclTensor,shape支持1-8维度,与[object Object]需要norm的维度值相同,支持ND。
      • [object Object]Atlas 推理系列产品[object Object]:数据类型支持FLOAT32、FLOAT16。
      • [object Object]Atlas A2 训练系列产品/Atlas A2 推理系列产品[object Object]、[object Object]Atlas A3 训练系列产品/Atlas A3 推理系列产品[object Object]:数据类型支持FLOAT32、FLOAT16、BFLOAT16。
    • biasOptional(aclTensor *,计算输入):可选输入参数,表示AddLayerNorm中加法计算的输入,公式中的[object Object],将会在算子内做(x1 + x2 + biasOptional)的计算并对计算结果做层归一化;shape可以和[object Object]/[object Object]或是和[object Object]/[object Object]一致,是Device侧的aclTensor,shape支持1-8维度,支持ND。
      • [object Object]Atlas 推理系列产品[object Object]:数据类型支持FLOAT32、FLOAT16。
      • [object Object]Atlas A2 训练系列产品/Atlas A2 推理系列产品[object Object]、[object Object]Atlas A3 训练系列产品/Atlas A3 推理系列产品[object Object]:数据类型支持FLOAT32、FLOAT16、BFLOAT16。
    • epsilon(double,计算输入):公式中的输入[object Object],添加到分母中的值,以确保数值稳定;host侧的aclScalar,数据类型为double,仅支持取值1e-5。
    • additionalOutput(bool,计算输入):表示是否开启x=x1+x2+biasOptional的输出,host侧的aclScalar,数据类型为bool。
    • meanOut(aclTensor *,计算输出):输出LayerNorm计算过程中(x1 + x2 + biasOptional)的结果的均值,公式中的xˉ\bar{x},Device侧的aclTensor,数据类型为FLOAT32,shape需要与[object Object]满足(前几维的维度和[object Object]前几维的维度相同,后面的维度为1,总维度与[object Object]维度相同,前几维指[object Object]的维度减去gamma的维度,表示不需要norm的维度),支持ND。计算逻辑:mean = np.mean(x1 + x2 + biasOptional)。
      • [object Object]Atlas 推理系列产品[object Object]:该输出在本产品无效。
    • rstdOut(aclTensor *,计算输出):输出LayerNorm计算过程中[object Object]的结果,Device侧的aclTensor,数据类型为FLOAT32,shape需要与[object Object]满足(前几维的维度和[object Object]前几维的维度相同,后面的维度为1,总维度与[object Object]维度相同),支持ND。
      • [object Object]Atlas 推理系列产品[object Object]:该输出在本产品无效。
    • yOut(aclTensor *,计算输出):表示LayerNorm的结果输出[object Object],Device侧的aclTensor,shape需要与输入[object Object]一致,支持ND。
      • [object Object]Atlas 推理系列产品[object Object]:数据类型支持FLOAT32、FLOAT16。
      • [object Object]Atlas A2 训练系列产品/Atlas A2 推理系列产品[object Object]、[object Object]Atlas A3 训练系列产品/Atlas A3 推理系列产品[object Object]:数据类型支持FLOAT32、FLOAT16、BFLOAT16。
    • xOut(aclTensor *,计算输出):表示LayerNorm的结果输出[object Object],Device侧的aclTensor,shape需要与输入[object Object]一致,支持ND。
      • [object Object]Atlas 推理系列产品[object Object]:数据类型支持FLOAT32、FLOAT16。
      • [object Object]Atlas A2 训练系列产品/Atlas A2 推理系列产品[object Object]、[object Object]Atlas A3 训练系列产品/Atlas A3 推理系列产品[object Object]:数据类型支持FLOAT32、FLOAT16、BFLOAT16。
    • workspaceSize(uint64_t *,出参):返回需要在Device侧申请的workspace大小。
    • executor(aclOpExecutor **,出参):返回op执行器,包含了算子计算流程。
  • 返回值:

    aclnnStatus:返回状态码,具体参见

    [object Object]

aclnnAddLayerNorm

  • 参数说明:

    • workspace(void *,入参):在Device侧申请的workspace内存返回需要在Device侧。
    • workspaceSize(uint64_t,入参):在Device侧申请的workspace大小,由第一段接口aclnnAddLayerNormGetWorkspaceSize获取。
    • executor(aclOpExecutor *,入参):op执行器,包含了算子计算流程。
    • stream(aclrtStream,入参):指定执行任务的Stream。
  • 返回值:

    aclnnStatus:返回状态码,具体参见

约束说明

  • 功能维度
    • 数据类型支持
      • [object Object]Atlas 推理系列产品[object Object]:x1、x2、beta、gamma、biasOptional支持FLOAT32、FLOAT16。
      • [object Object]Atlas A2 训练系列产品/Atlas A2 推理系列产品[object Object]、[object Object]Atlas A3 训练系列产品/Atlas A3 推理系列产品[object Object]:x1、x2、beta、gamma、biasOptional支持FLOAT32、FLOAT16、BFLOAT16。
      • rstdOut、meanOut支持:FLOAT32。
    • 数据格式支持:ND。
    • [object Object]Atlas 推理系列产品[object Object]:x1、x2、beta、gamma、biasOptional五个输入的尾轴长度必须大于等于32Bytes。
  • 未支持类型说明
    • DOUBLE:不支持DOUBLE。
    • 是否支持空Tensor:不支持空进空出。
    • 是否支持非连续Tensor:输入输出不支持非连续。
  • 边界值场景说明
    • 当输入是inf时,输出为inf。
    • 当输入是nan时,输出为nan。
  • 各产品支持数据类型说明
    • [object Object]Atlas A2 训练系列产品/Atlas A2 推理系列产品[object Object]、[object Object]Atlas A3 训练系列产品/Atlas A3 推理系列产品[object Object]:[object Object]undefined
    • [object Object]Atlas 推理系列产品[object Object]:[object Object]undefined

调用示例

示例代码如下,仅供参考,具体编译和执行过程请参考

[object Object]