deallocate_blocks_cache
产品支持情况
产品 |
是否支持 |
|---|---|
√ |
|
x |
|
x |
|
x |
|
x |
函数功能
PagedAttention场景下，释放allocate_blocks_cache申请的Cache。
函数原型
1 | deallocate_blocks_cache(cache: Cache) |
参数说明
参数名称 |
数据类型 |
取值说明 |
|---|---|---|
cache |
需要释放的Cache。 |
调用示例
1 2 3 | from llm_datadist import BlocksCacheKey ... cache_manager.deallocate_blocks_cache(blocks_cache) |
约束说明
无
父主题： CacheManager