产品
是否支持
Atlas 800I A2 推理产品/A200I A2 Box 异构组件
√
Atlas A2 训练系列产品
x
Atlas 200I/500 A2 推理产品
Atlas 推理系列产品
Atlas 训练系列产品
获取KvCache描述。
1 2
@property cache_desc() -> CacheDesc
无
1 2 3
... kv_cache = kv_cache_manager.allocate_cache(cache_desc, cache_keys) print(kv_cache.cache_desc.num_tensors)
正常情况返回类型为KvCache的cache描述。