产品 |
是否支持 |
---|---|
√ |
|
x |
|
x |
|
x |
|
x |
配置KvCacheManager中一系列接口的超时时间和CacheManager中的pull_cache、pull_blocks接口的超时时间,对应底层llm.SyncKvCacheWaitTime配置项。
此外,LLMModel中的一系列接口中也会调用KvCacheManager中的接口,所以也受该配置影响。
1 | sync_kv_timeout(sync_kv_timeout) |
参数名称 |
数据类型 |
取值说明 |
---|---|---|
sync_kv_timeout |
int或str |
同步kv超时时间,单位:ms。不配置默认为1000ms。 |
1 2 3 | from llm_datadist import LLMConfig llm_config = LLMConfig() llm_config.sync_kv_timeout = 1000 |
正常情况下无返回值。
参数错误可能抛出TypeError或ValueError。
无