产品 |
是否支持 |
|---|---|
√ |
|
x |
|
x |
|
x |
|
x |
配置每个kv的维度信息，对应底层llm.RefInputShapes配置项。
1 | kv_shapes(kv_shapes) |
参数名称 |
数据类型 |
取值说明 |
|---|---|---|
kv_shapes |
List[str] |
配置每个kv的维度信息。 |
1 2 3 4 | from llm_datadist import ModelConfig model_config = ModelConfig() kv_nums = 80 model_config.kv_shapes = ["1,1024" for _ in range(kv_nums)] |
无
无