产品支持情况

产品	是否支持
Atlas 800I A2 推理产品/A200I A2 Box 异构组件	√
Atlas A2 训练系列产品	x
Atlas 200I/500 A2 推理产品	x
Atlas 推理系列产品	x
Atlas 训练系列产品	x

函数功能

配置每个kv数据类型，对应底层llm.RefInputDtypes配置项。

函数原型

kv_dtypes(kv_dtypes)

参数说明

参数名称	数据类型	取值说明
kv_dtypes	List[DataType]	配置每个kv数据类型。

调用示例

from llm_datadist import ModelConfig, DataType
model_config = ModelConfig()
kv_nums = 80
model_config.kv_dtypes = [DataType.DT_FLOAT for _ in range(kv_nums)]

返回值

无

约束说明

无