负载均衡参数，可通过修改atb-models安装目录下的“{ATB安装路径}/atb-models/atb_llm/conf/config.json”进行配置。修改models/deepseekv2/eplb字段里的“level”、“expert_map_file”、“rep_per_rank”的三个参数，默认配置为不开启负载均衡。典型配置如下：
1 2 3 4 5 6 7 8 9 10 11 | { "models": { "deepseekv2": { "eplb": { "level": 1, "expert_map_file": "xxxx.json", "rep_per_rank": 1 } } } } |
参数说明如下：
配置项 |
默认值 |
配置说明 |
|---|---|---|
level |
0 |
|
expert_map_file |
"" |
静态冗余负载专家部署表路径。 |
rep_per_rank |
0 |
每卡冗余专家个数。 |