功能列表
各功能共存情况
控制可计算batch
全量/增量分离
高精度
clamp缩放
压缩mask
kv-bypass
logN缩放
qkv全量化
BNSD维度输入
kv tensorlist格式输入
MLA合并输入kvCache功能
Sliding window attention(SWA)功能
FA支持Prefix Encoder
父主题:
SelfAttentionOperation