mem_utilization

函数功能

在KvCache管理模式下，配置ge.flowGraphMemMaxSize内存的利用率。默认值0.95。

函数原型

mem_utilization(mem_utilization)

参数说明

调用示例

1
2
3

from llm_datadist import LLMConfig
llm_config = LLMConfig()
llm_config.mem_utilization = 0.95

返回值

无

约束说明

配合check_capacity接口使用。