根据采集的专家热点信息,可使用msit工具的“expert-load-balancing”组件生成冗余专家部署表。
# 1.git clone并切换分支 git clone https://gitee.com/ascend/msit.git cd msit git checkout br_release_MindStudio_8.0.RC1_20260324 # 2.安装msit cd msit pip install . # 3.通过msit install命令,安装所需组件 msit install llm expert-load-balancing # 4.安装之后可以使用msit check命令检查安装是否成功 msit check all
msit elb -isp $csv_path -o $output_file_path -nre 64 -nd 8 -nn 64 -al 0
msIT工具提供两种负载均衡算法:计算通信负载均衡算法(C2LB)和speculative moe interface algorithm。在多种数据集测试(Gsm8k、Ceval、Math500、MMLU、GPQA等)中,C2LB算法性能略好于speculative moe interface algorithm,推荐优先使用C2LB算法。