产品 |
是否支持 |
|---|---|
√ |
|
x |
|
x |
|
x |
|
x |
配置是否开启PagedAttention，对应底层llm.EnablePagedAttention配置项。
1 | enable_page_attention(enable_page_attention) |
参数名称 |
数据类型 |
取值说明 |
|---|---|---|
enable_page_attention |
bool |
配置是否开启PagedAttention，取值包括True和False，默认False。
|
1 2 3 | from llm_datadist import ModelConfig model_config = ModelConfig() model_config.enable_page_attention = True |
无
无