init

产品支持情况

产品	是否支持
Atlas A3 训练系列产品/Atlas A3 推理系列产品	√
Atlas 800I A2 推理产品/A200I A2 Box 异构组件	√
Atlas A2 训练系列产品	x
Atlas 200I/500 A2 推理产品	x
Atlas 推理系列产品	x
Atlas 训练系列产品	x

函数功能

初始化LLMDataDist，需要在init的options中配置CacheManager模式，即enable_cache_manager设置为True或者指定local_comm_res。

该模式下，Decode和Prompt可以双向拉取Cache。

函数原型

init(options: Dict[str, str])

参数说明

参数名称	数据类型	取值说明
options	Dict[str, str]	配置项。传入的options可以通过LLMConfig来生成。 device_id必填。 enable_cache_manager为True或者设置local_comm_res。

参数名称

数据类型

取值说明

options

Dict[str, str]

配置项。

传入的options可以通过LLMConfig来生成。

device_id必填。
enable_cache_manager为True或者设置local_comm_res。

调用示例

from llm_datadist import LLMDataDist, LLMRole, LLMConfig
llm_datadist = LLMDataDist(LLMRole.PROMPT, 0)
llm_config = LLMConfig()
llm_config.enable_cache_manager = True
llm_config.device_id = 0
engine_options = llm_config.generate_options()
llm_datadist.init(engine_options)

返回值

正常情况下无返回值。

异常情况会抛出LLMException。

参数错误可能抛出TypeError或ValueError。

约束说明

初始化成功后，系统退出前需要调用finalize。

父主题： LLMDataDist