Prefix Cache特性介绍
当前大语言模型推理系统普遍采用KV Cache缓存机制，但该机制存在以下两个问题：
- 随着LLM支持的序列长度不断增长，KV Cache所需要的显存资源也急剧增加。
- KV Cache只对当前session有效，如果跨session存在重复token序列的情况下无法实现复用。
Prefix Cache通过RadixTree保留session结束后的KV Cache，新的session请求在RadixTree中查找是否存在相同的Token序列，即可复用之前计算好的KV Cache，从而实现跨session的KV Cache复用。
其优势主要包括：
- 更短的prefill时间：由于跨session的重复token序列对应的KV Cache可以复用，那么就可以减少一部分前缀token的KV Cache计算时间，从而减少prefill的时间。
- 更高效的显存使用：当正在处理的sessions相互之间存在公共前缀时，公共前缀部分的KV Cache可以共用，不必重复占用多份显存。
限制与约束
- Atlas 800I A2 推理服务器和Atlas 300I Duo 推理卡硬件支持此特性。
- 仅Qwen2系列模型支持对接此特性。
- 当跨session公共前缀token数大于等于Page Attention中的block size，才会进行公共前缀token的KV Cache复用。
- Prefix Cache支持的量化特性：W8A8量化与稀疏量化，其他量化特性暂不支持。
- 该特性不能和多机PD分离、Multi-LoRA、Function Call、长序列以及多机推理特性同时使用。
- 该特性可以和单机PD分离、并行解码和SplitFuse特性同时使用。
执行推理
- 配置服务化参数。该特性需配合MindIE Service使用，按照表1在服务化的config.json文件中添加相应参数，config.json文件路径的详细说明请参考：《MindIE安装指南》中的“配置MindIE > 配置MindIE Server > 单机推理”章节中的软件包文件清单。
- 启动服务。具体请参考《MindIE Service开发指南》中的“快速开始 > 启动服务”章节。
父主题： 特性介绍