logN缩放
功能说明
在一般的情况下,上文计算公式中的Zoom函数,其缩放系数由参数qkScale给出。当用户想要使用logN形式的缩放函数时,可开启此功能。
开启方式
参数“scaleType”置为SCALE_TYPE_LOGN。
传入logN作为输入tensor。
“kernelType”置为KERNELTYPE_HIGH_PRECISION。
约束说明
- 开启logN功能,“scaleType”需为SCALE_TYPE_LOGN,“calcType”需为DECODER或PA_ENCODER,分别对应增量阶段和全量阶段;
Atlas A2 训练系列产品 /Atlas 800I A2 推理产品 和Atlas A3 推理系列产品 /Atlas A3 训练系列产品 上“calcType”为PA_ENCODER时额外需要“kernelType”为KERNELTYPE_HIGH_PRECISION。 - logN功能与量化场景不支持同时开启。
- 当“inputLayout”为TYPE_BNSD时,“scaleType”必须为SCALE_TYPE_TOR(不支持LogN缩放)。
父主题: 功能列表