参数列表

在使用时应带有命名空间atb::infer::PagedAttentionParam的参数，成员描述如下：

上表中类型为自定义类型的，其描述如下：

• MaskType：表示mask类型的枚举量，其具体取值如下。maskType取不同MaskType值或在不同硬件上运行时维度不同，详见mask类型。
  • UNDEFINED（枚举值：0）：默认值，全0的mask。
  • MASK_TYPE_NORM（枚举值：1）：倒三角mask。
  • MASK_TYPE_ALIBI（枚举值：2）：alibi mask。
  • MASK_TYPE_SPEC（枚举值：3）：并行解码mask。
• QuantType：表示量化类型的枚举量，其具体取值如下：
  • TYPE_QUANT_UNDEFINED（枚举值：0）：默认值，不与量化融合。
  • TYPE_DEQUANT_FUSION（枚举值：1）：与反量化融合，只支持Atlas 800I A2 推理产品/Atlas A2 训练系列产品。
  • TYPE_QUANT_QKV_OFFLINE（枚举值：2）：离线INT8量化，只支持Atlas 800I A2 推理产品/Atlas A2 训练系列产品。
  • TYPE_QUANT_QKV_ONLINE（枚举值：3）：在线INT8量化，只支持Atlas 800I A2 推理产品/Atlas A2 训练系列产品。
  • 量化类型有以下约束条件：
    • 为TYPE_QUANT_UNDEFINED时，q、keyCache、valueCache为bf16/float16。
    • 为TYPE_DEQUANT_FUSION时，q为bf16/float16，keyCache、valueCache为int8。
    • 为TYPE_QUANT_QKV_OFFLINE或TYPE_QUANT_QKV_ONLINE时，q、keyCache、valueCache为int8。
    • keyCache，valueCache的headsize等长，范围为（0, 256]，且block_size * head_size ≤ 128 * 128。
    • 为TYPE_QUANT_QKV_OFFLINE或TYPE_QUANT_QKV_ONLINE时，outdatatype需要配置，只能是ACL_FLOAT16或ACL_BF16。inputLayout只支持TYPE_BSND。
• CompressType：表示压缩类型的枚举量，其具体取值如下：
  • COMPRESS_TYPE_UNDEFINED（枚举值：0）：默认值，不压缩。
  • COMPRESS_TYPE_KVHEAD（枚举值：1）：压缩key_cache, value_cache的kvHead维度, 只支持Atlas 800I A2 推理产品/Atlas A2 训练系列产品。
  • COMPRESS_TYPE_KVHEAD_ROPE（枚举值：2）：rope场景压缩key_cache, value_cache的kvHead维度, 只支持Atlas 800I A2 推理产品/Atlas A2 训练系列产品。
  • COMPRESS_TYPE_MAX（枚举值：3）：压缩类型边界值，仅用于判断是否出界，所有情况不能取该值。
  • 压缩类型有以下约束条件：
    • 压缩方式为COMPRESS_TYPE_KVHEAD时，不支持quanttype为2和3。
    • 压缩方式为COMPRESS_TYPE_KVHEAD_ROPE时, maskType需传0。此时不支持quanttype为2和3。
• CalcType：表示计算类型的枚举量，其具体取值如下：
  • CALC_TYPE_UNDEFINED（枚举值：0）：默认值，不开启并行解码。
  • CALC_TYPE_SPEC（枚举值：1）：并行解码功能，此时只支持quantType = 0。
• ScaleType：表示是否开启LogN特性的枚举量，其具体取值如下：
  • SCALE_TYPE_TOR（枚举值：0）：默认值，不开启LogN缩放。
  • SCALE_TYPE_LOGN（枚举值：1）：注意力使用LogN缩放。
  • SCALE_TYPE_MAX（枚举值：2）：边界值，仅用于判断是否出界。
  • scale类型有以下约束条件：

    “scale”类型为SCALE_TYPE_LOGN时，不支持quanttype为2和3。

• InputLayout：表示数据排布格式的枚举量，其具体取值如下：
  • TYPE_BSND（枚举值：0）：默认值，表示数据排布为BSND。
  • TYPE_BNSD（枚举值：1）：表示数据排布为BNSD。