- 量化对象:缓存的 K 与 V 张量(Q 不在此列,量化 Q 属于 FA 量化)。 - 量化粒度:目前 msModelSlim 中仅支持 per-channel——按隐藏维度(head\_dim)共享 scale/offset,对称或非对称,即 KVCache-PerChannel 量化。 - 数据类型:INT8(对称/非对称)。更细粒度(如 per-head、per-token)或更低比特(INT4/FP8)属于研究中的方向,msModelSlim 暂不支持。 - 组合方式:可与线性层量化叠加使用(两者量化对象不同、互不重叠)。在此基础上进一步量化送入注意力计算的 Q 激活张量,即升级为