cache_desc
函数功能
获取KvCache描述。
函数原型
@property cache_desc() -> CacheDesc
参数说明
无
调用示例
1 2 3 | ...
kv_cache = kv_cache_manager.allocate_cache(cache_desc, cache_keys)
print(kv_cache.cache_desc.num_tensors)
|
返回值
正常情况返回类型为KvCache的cache描述。
约束说明
无
父主题: KvCache