当ModelRunner关联的Decoder LLMModel释放了KvCache后回调。
on_cache_deallocated(kv_cache: KvCache)
参数名称
数据类型
取值说明
kv_cache
KvCache
KvCache。
该接口不由用户直接调用，而是作为回调由LLMModel调用。
无