专家热点信息采集

专家热点信息采集,为获取用户实际业务数据或数据集下的专家的热点分布。

  1. 用户需在不开启负载均衡时,通过设置“MINDIE_ENABLE_EXPERT_HOTPOT_GATHE”和“MINDIE_EXPERT_HOTPOT_DUMP_PATH”两个环境变量,导出实际业务场景下专家热点信息的.csv文件。Prefill和Decode热点信息会分别保存,以便分别生成Prefill和Decode的冗余专家部署表。
  2. 热点信息生成后,需手动将所有机器上的专家热点信息汇总至同一个文件夹,也可直接将所有机器上的导出文件路径设置为共享磁盘路径。

开启专家热点信息采集方法如下:

export MINDIE_ENABLE_EXPERT_HOTPOT_GATHER=1
export MINDIE_EXPERT_HOTPOT_DUMP_PATH=$output_path