update_cache_policy接口
接口功能
根据cache_manager中的npu_mem和cpu_mem申请npu和cpu对应的kvcache。（属于内部调度接口，暂不支持对外功能。）
接口实现
1 2 3 4 | def update_cache_policy(self, cache_manager): self.cache_pool = CachePool(cache_manager, self.device) self.cache_pool.allocate_cpu_cache() self.cache_pool.allocate_npu_cache() |
参数说明
参数名称 |
是否必选 |
类型 |
默认值 |
描述 |
|---|---|---|---|---|
cache_manager |
是 |
CacheManager |
- |
根据模型信息进行npu和cpu的block的计算，接口需配合llm的调度模块，当前作为内部实现。 |