---
title: 计算公式
description: "PreProcess是对Q、K、V、mask的前置处理，如开启反量化融合功能时计算前要对输入K、V进行反量化。"
url: https://www.hiascend.com/document/detail/zh/canncommercial/latest/API/ascendtb/ascendtb_01_0194.html
sourcePath: /source/zh/canncommercial/900/API/ascendtb/ascendtb_01_0194.html
indexId: 75f177fdddac1680422f01910badcb56cbb46e0031e4d041a012de5287fa179464
---
# 计算公式


PreProcess是对Q、K、V、mask的前置处理，如开启反量化融合功能时计算前要对输入K、V进行反量化。

attenOut由attention计算得出，其中Zoom为对的缩放，标准计算流程中是乘以1/sqrt(head_size)，当logN功能开启时，额外乘以logN的系数。