推理场景下,Multi-Head Latent Attention(MLA)前处理的计算。主要计算过程分为四路,首先对输入x乘以WDQ进行下采样和RmsNorm后分成两路,第一路乘以WUQ和WUK经过两次上采样后得到qN;第二路乘以WQR后经过旋转位置编码(ROPE)得到qR;第三路是输入x乘以WDKV进行下采样和RmsNorm后传入Cache中得到kC;第四路是输入x乘以WKR后经过旋转位置编码