sync_kv_timeout
函数功能
配置KvCacheManager中一系列接口的超时时间和CacheManager中的pull_cache、pull_blocks接口的超时时间，对应底层llm.SyncKvCacheWaitTime配置项。
此外，LLMModel中的一系列接口中也会调用KvCacheManager、CacheManager中的接口，所以也受该配置影响。
函数原型
sync_kv_timeout(sync_kv_timeout)
参数说明
参数名称 |
数据类型 |
取值说明 |
|---|---|---|
sync_kv_timeout |
int |
同步kv超时时间，单位：ms。 |
调用示例
from llm_datadist import LLMConfig llm_config = LLMConfig() llm_config.sync_kv_timeout = 1000
返回值
无
约束说明
无
父主题： LLMConfig