集群场景的大模型并行方式优化推荐

集群场景的大模型并行方式优化推荐知识库输入分成三部分：

• 模型结构及并行方式参数
• 硬件超参
• Profiling相关参数

其中硬件超参和Profiling相关参数暂时采用经验值静态配置（即无需用户配置）。训练脚本中的模型结构部分同样采用静态配置，为多个大模型（当前适配神农、盘古）的模型结构配置相应参数。

用户侧根据需求配置parameter相关参数 device（rank_size ）、model_mode等（请参见train.json文件参数说明），即可运行并行方式优化推荐知识库，生成并行方式优化推荐建议。