---
title: logN缩放
description: "针对Qwen长序列场景，使用LogN缩放注意力。"
url: https://www.hiascend.com/document/detail/zh/canncommercial/latest/API/ascendtb/ascendtb_01_0210.html
sourcePath: /source/zh/canncommercial/900/API/ascendtb/ascendtb_01_0210.html
indexId: 52cb7784f6e84f4953850cff13860e81976fa2b69596e20d6e82e4ba1cf20c2164
---
# logN缩放

#### 功能说明

针对Qwen长序列场景，使用LogN缩放注意力。

其公式为：


其中：m为训练长度，n为预测长度。


#### 开启方式

将参数“scaleType”置为infer::PagedAttentionParam::SCALE_TYPE_LOGN时即可使用LogN缩放。

使用LogN缩放时，PagedAttentionOperation新增一个 输入tensor名为logN，其具体规格如下：

| 名字 | 维度 | 数据类型 | 格式 | cpu or npu |
| --- | --- | --- | --- | --- |
| logN | 增量阶段: [batch size] | Atlas A2 训练系列产品 / Atlas A2 推理系列产品 和 Atlas A3 推理系列产品 / Atlas A3 训练系列产品 ：float32 Atlas 推理系列产品 ：float16 | ND | NPU |


其它输入tensor没有变化。


#### 约束说明

无