冗余专家部署表生成

根据采集的专家热点信息,可使用msit工具的“expert-load-balancing”组件生成冗余专家部署表。

  1. 安装“expert-load-balancing”组件,安装方法如下所示。
    # 1.git clone并切换分支 
    git clone https://gitee.com/ascend/msit.git
    cd msit
    git checkout br_release_MindStudio_8.0.RC1_20260324
     
    # 2.安装msit
    cd msit
    pip install .
     
    # 3.通过msit install命令,安装所需组件
    msit install llm expert-load-balancing
     
    # 4.安装之后可以使用msit check命令检查安装是否成功
    msit check all
  2. 参见负载均衡算法快速入门指南,使用“expert-load-balancing”组件生成冗余专家部署表。8机64卡典型配置如下:
    msit elb -isp $csv_path -o $output_file_path -nre 64 -nd 8 -nn 64 -al 0

    msIT工具提供两种负载均衡算法:计算通信负载均衡算法(C2LB)和speculative moe interface algorithm。在多种数据集测试(Gsm8k、Ceval、Math500、MMLU、GPQA等)中,C2LB算法性能略好于speculative moe interface algorithm,推荐优先使用C2LB算法。

  • PD分离场景,可分别单独生成Prefill和Decode的冗余专家部署表。
  • PD混合场景,只需生成Deocde的冗余专家部署表,以提升Decode性能。