产品
是否支持
Atlas 800I A2 推理产品/A200I A2 Box 异构组件
√
Atlas A2 训练系列产品
x
Atlas 200I/500 A2 推理产品
Atlas 推理系列产品
Atlas 训练系列产品
当ModelRunner关联的Decode LLMModel释放了KvCache后回调。
1
on_cache_deallocated(kv_cache: KvCache)
参数名称
数据类型
取值说明
kv_cache
KvCache
KvCache。
该接口不由用户直接调用，而是作为回调由LLMModel调用。
无