LLMConfig构造函数

产品支持情况

函数功能

构造LLMConfig，调用LLMDataDist init接口需要传入一个配置项字典，为了简化配置，可以通过此类来构造该配置项字典。

目前支持如下两种模式。

• KvCacheManager模式（默认），其通过类似client-server方式建链，限制只能从Decode往Prompt拉取KV。该模式下的相关接口包括：listen_ip_info、mem_utilization、buf_pool_cfg。
• CacheManager模式，其通过通信域模式建链，Decode和Prompt可以双向拉取Cache。该模式下的相关接口包括：enable_cache_manager、mem_pool_cfg。

函数原型

1

__init__()

参数说明

无

调用示例

1
2

from llm_datadist import LLMConfig
llm_config = LLMConfig()

返回值

返回LLMConfig的实例。

约束说明

无