产品 |
是否支持 |
|---|---|
√ |
|
x |
|
x |
|
x |
|
x |
设置KV Cache tensor的format。在调用check_capacity功能时配置，用于计算每个token的size大小。
1 | kv_tensor_format(kv_tensor_format) |
参数名称 |
数据类型 |
取值说明 |
|---|---|---|
kv_tensor_format |
str |
KV Cache tensor的format信息，例如"BSH", "BNSD"等。 |
1 2 3 | from llm_datadist import ModelConfig model_config = ModelConfig() model_config.kv_tensor_format = "BSH" |
无
配合check_capacity使用。