aclnnAdaLayerNormV2
产品支持情况
功能说明
接口功能:AdaLayerNormV2算子将LayerNorm和下游的Add、Mul融合起来,通过自适应参数scale和shift来调整归一化过程。相比AdaLayerNorm算子,输出新增2个参数(输入的均值和输入的标准差的倒数);weight和bias支持的数据类型增加对应约束。
计算公式:
LayerNorm计算公式:
其中,E(x)表示输入的均值,Var(x)表示输入的方差。
函数原型
每个算子分为,必须先调用“aclnnAdaLayerNormV2GetWorkspaceSize”接口获取计算所需workspace大小以及包含了算子计算流程的执行器,再调用“aclnnAdaLayerNormV2”接口执行计算。
[object Object]
[object Object]
aclnnAdaLayerNormV2GetWorkspaceSize
aclnnAdaLayerNormV2
约束说明
- 确定性计算:
- aclnnAdaLayerNormV2默认确定性实现。
调用示例
[object Object]