专家热点信息采集

专家热点信息采集，为获取用户实际业务数据或数据集下的专家的热点分布。

1. 用户需在不开启负载均衡时，通过设置“MINDIE_ENABLE_EXPERT_HOTPOT_GATHER”和“MINDIE_EXPERT_HOTPOT_DUMP_PATH”两个环境变量，导出实际业务场景下专家热点信息的.csv文件。Prefill和Decode热点信息会分别保存，以便分别生成Prefill和Decode的冗余专家部署表。

   设置方法如下：

   分别在“examples/kubernetes_deploy_scripts/conf/mindie_env.json”文件的“mindie_server_prefill_env”和“mindie_server_decode_env”字段中，增加环境变量如下:

   • "MINDIE_ENABLE_EXPERT_HOTPOT_GATHER": 1,
   • "MINDIE_EXPERT_HOTPOT_DUMP_PATH": "单个实例可选择共享盘路径，否则必须存储在非共享盘"

     

2. 执行模型推理业务，生成热点信息文件。
   

   如果是服务化采集，数据集跑完后请及时关闭服务化。

3. 热点信息生成后，需手动将所有机器上的专家热点信息汇总至同一个文件夹，也可直接将所有机器上的导出文件路径设置为共享磁盘路径。