函数功能
释放Cache。
如果该Cache在Allocate时关联了CacheKey，则实际的释放会延后到所有的CacheKey被拉取或执行了remove_cache_key。
函数原型
deallocate_cache(cache: KvCache)
参数说明
参数名称
|
数据类型
|
取值说明
|
|---|
cache
|
KvCache
|
要释放的KvCache。
|
调用示例
| kv_cache_manager.deallocate_cache(cache)
|
返回值
正常情况下无返回值。
传入数据类型错误情况下会抛出TypeError或ValueError异常。
执行时间超过sync_kv_timeout配置会抛出LLMException异常。
约束说明
如果KvCache不存在或已释放，该操作为空操作。