配置KvCacheManager中一系列接口的超时时间和CacheManager中的pull_cache、pull_blocks接口的超时时间，对应底层llm.SyncKvCacheWaitTime配置项。
此外，LLMModel中的一系列接口中也会调用KvCacheManager、CacheManager中的接口，所以也受该配置影响。
sync_kv_timeout(sync_kv_timeout)
参数名称 |
数据类型 |
取值说明 |
|---|---|---|
sync_kv_timeout |
int |
同步kv超时时间，单位：ms。 |
1 2 3 | from llm_datadist import LLMConfig llm_config = LLMConfig() llm_config.sync_kv_timeout = 1000 |
无
无