函数原型
copy_cache(dst: KvCache, src: KvCache, dst_batch_index: int = 0, src_batch_index: int = 0, offset: int = 0, size: int = -1, req_id: Optional[int] = None)
参数说明
参数名称
|
数据类型
|
取值说明
|
|---|
dst
|
KvCache
|
目标Cache。
|
src
|
KvCache
|
源Cache。
|
dst_batch_index
|
int
|
目标Cache的batch_index。
|
src_batch_index
|
int
|
源Cache的batch_index。
|
offset
|
int
|
每个tensor的偏移，默认为0。
|
size
|
int
|
设置为>0的整数，表示要拷贝的大小。
或设置为-1，表示完整拷贝。
默认为-1。
|
req_id
|
Optional[int]
|
本次调用关联的req_id，如果设置了该参数则本地调用相关的维测日志中会打印该req_id
默认为None
|
调用示例
| kv_cache_manager.copy_cache(dst_cache, src_cache, 0, 1, 0, 128)
|
返回值
正常情况下无返回值。
传入数据类型错误情况下会抛出TypeError或ValueError异常。
执行时间超过sync_kv_timeout配置会抛出LLMException异常。
约束说明
src/dst的CacheDesc需要匹配。