在LLM-DataDist初始化时会预申请一块指定大小的内存池,由OPTION_BUF_POOL_CFG配置项决定其大小,后续的KV Cache的内存申请及释放都在预申请的内存上进行,相比每次执行时申请一块cache内存,可以节省耗时。 KV Cache管理涉及的主要接口及功能如下: 接口名称 功能 AllocateCache 分配Cache。 DeallocateCache 释放Cache。 PullKvCache 从远端节点拉取Cache到本地Cache,仅当角色为Decoder时可调用。 PullKvBlocks 在传输Blocks Cache场景下,通过配置block列表的方式,从远端