产品 |
是否支持 |
|---|---|
√ |
|
x |
|
x |
|
x |
|
x |
在KvCacheManager模式下，配置ge.flowGraphMemMaxSize内存的利用率。默认值0.95。
1 | mem_utilization(mem_utilization) |
参数名称 |
数据类型 |
取值说明 |
|---|---|---|
mem_utilization |
float |
内存利用率。默认值0.95。取值范围0.0~1.0。 |
1 2 3 | from llm_datadist import LLMConfig llm_config = LLMConfig() llm_config.mem_utilization = 0.95 |
正常情况下无返回值。
参数错误可能抛出TypeError或ValueError。
配合check_capacity接口使用。