
请问上图中的session是什么意思,请求request吗?
如果一个batch中有两个请求的内容完全一样,在不开启prefix cache特性的情况下一个请求也不能复用另一个请求的kv cache吗?
我是不是可以认为,不使用prefix cache特性时,每个请求推理完后对应的kv cache就会马上被释放掉;使用该特性时,每个请求推理完后对应的kv cache会被保存到RadixTree当中以供查找复用?进一步,我是不是可以简单的认为该特性决定的是不是就是在每个请求推理结束后是否保存其kv cache?
请问上图中的session是什么意思,请求request吗?
如果一个batch中有两个请求的内容完全一样,在不开启prefix cache特性的情况下一个请求也不能复用另一个请求的kv cache吗?
我是不是可以认为,不使用prefix cache特性时,每个请求推理完后对应的kv cache就会马上被释放掉;使用该特性时,每个请求推理完后对应的kv cache会被保存到RadixTree当中以供查找复用?进一步,我是不是可以简单的认为该特性决定的是不是就是在每个请求推理结束后是否保存其kv cache?