enable_page_attention
函数功能
配置是否开启PagedAttention，对应底层llm.EnablePagedAttention配置项。
函数原型
enable_page_attention(enable_page_attention)
参数说明
参数名称 |
数据类型 |
取值说明 |
|---|---|---|
enable_page_attention |
bool |
配置是否开启PagedAttention，取值包括True和False，默认False。
|
调用示例
from llm_datadist import ModelConfig model_config = ModelConfig() model_config.enable_page_attention = True
返回值
无
约束说明
无
父主题： ModelConfig