产品 |
是否支持 |
---|---|
√ |
|
x |
|
x |
|
x |
|
x |
PagedAttention场景下,拷贝block。
1 | copy_blocks(cache: Cache, copy_block_info: Dict[int, List[int]]) |
参数名称 |
数据类型 |
取值说明 |
---|---|---|
cache |
目标Cache。 |
|
copy_block_info |
Dict[int, List[int]] |
dict里面内容代表(原始block index,目标block index列表)。 |
1 | kv_cache_manager.copy_blocks(cache, {1: [2,3]}) |
无