产品支持情况

产品	是否支持
Atlas 800I A2 推理产品/A200I A2 Box 异构组件	√
Atlas A2 训练系列产品	x
Atlas 200I/500 A2 推理产品	x
Atlas 推理系列产品	x
Atlas 训练系列产品	x

函数功能

初始化LLMDataDist。目前支持如下两种模式。

KvCacheManager模式（默认），其通过类似client-server方式建链，限制只能从Decode往Prompt拉取KV。该模式下的相关接口包括：add_model、link_clusters、unlink_clusters、complete_request、kv_cache_manager、switch_role和check_capacity。
CacheManager模式，其通过通信域模式建链，Decode和Prompt可以双向拉取Cache。该模式下的相关接口包括：link、unlink、query_register_mem_status、cache_manager和switch_role。

函数原型

init(options: Dict[str, str]）

参数说明

参数名称	数据类型	取值说明
options	Dict[str, str]	配置项。传入的options可以通过LLMConfig来生成。在默认的KvCacheManager模式下必填字段：device_id和listen_ip_info（只有prompt必填）。在CacheManager模式下（开启方式是配置enable_cache_manager为True），只有device_id是必填。

参数名称

数据类型

取值说明

options

Dict[str, str]

配置项。

传入的options可以通过LLMConfig来生成。

在默认的KvCacheManager模式下必填字段：device_id和listen_ip_info（只有prompt必填）。
在CacheManager模式下（开启方式是配置enable_cache_manager为True），只有device_id是必填。

调用示例

from llm_datadist import LLMDataDist, LLMRole, LLMConfig
llm_datadist = LLMDataDist(LLMRole.PROMPT, 0)
llm_config = LLMConfig()
llm_config.listen_ip_info = "192.168.1.1:26000"
llm_config.device_id = 0
engine_options = llm_config.generate_options()
llm_datadist.init(engine_options)

返回值

正常情况下无返回值。

异常情况会抛出LLMException。

参数错误可能抛出TypeError或ValueError。

约束说明

init成功后，系统退出前需要调用finalize。