register_blocks_cache

函数功能

PagedAttention场景下，调用此接口注册一个自行申请的内存。

函数原型

register_blocks_cache(cache_desc: CacheDesc, addrs: List[int], blocks_cache_key: Optional[BlocksCacheKey] = None) -> Cache:

参数说明

调用示例

from llm_datadist import *
import torch
...
cache_manager = llm_datadist.cache_manager
cache_desc = CacheDesc(1, [100, 1024 * 1024], DataType.DT_FLOAT)
cache_key = BlocksCacheKey(prompt_cluster_id=cluster_id, model_id=0)
cache_manager.register_blocks_cache(cache_desc, [addr], cache_key)

返回值

正常情况下无返回值。

传入数据类型错误，不匹配情况下会抛出TypeError或ValueError异常。

传入参数为None，会抛出AttributeError异常。

约束说明

无。