KV Cache 亲和性调度结合缓存前缀命中和当前负载,为请求选择推理 endpoint。 kv-conductor 维护缓存索引,Coordinator 使用索引结果估计剩余 prefill 工作量并选择推理 endpoint。 收益主要来自复用已有 KV、减少重复 prefill 计算;具体吞吐和时延收益取决于请求分布、缓存介质和负载。 - kv-conductor:订阅事件,维护 HBM 前缀树及 CPU/Disk 连续边索引,返回各 DP 的互斥命中块数。 - Coordinator:获取请求 token IDs,对命中块按介质加权,结合当前负载计算调度分数。 - 引擎及 KV Cac