CacheManager简介

在开启CacheManager场景下，开启方式是在初始化LLMDataDist时传入llm.EnableCacheManager为1时，提供一系列接口用于操作Cache。CacheManager的实例应该通过cache_manager返回。