集群训练场景性能分析

场景介绍

一个集群是由多个节点组成，每个节点都有单独的系统，通过管理界面统一管理。在集群场景执行Profiling则采集每个节点的性能数据，每个节点均生成一个PROF_XXX目录并进行预解析并将各个节点的PROF_XXX目录汇总到OBS，用户需要手动将OBS汇总的所有PORF_XXX目录拷贝到MindStudio所在的服务器进行性能数据的展示和分析。

Profiling流程

Profiling总体流程如下图所示。

环境搭建

• 集群场景请用户自行搭建。
• 根据需要在对应的节点上安装合适的CANN软件包，请参见《CANN 软件安装指南》。
• 安装MindStudio工具，请参见《MindStudio 安装指南》。

约束

集群场景执行Profiling最大支持采集512个节点（如果每个节点配置8个Device，即最大支持4096个Device）的性能数据。

性能数据采集

完成环境搭建后，集群场景可参考以下方式进行性能数据采集。

• 使用使用MindSpore框架接口采集进行性能数据采集。
• 使用PyTorch Profiling。
  1. 参见《PyTorch模型迁移和训练指南》中的“模型迁移与训练 >模型迁移”搭建分布式训练环境，准备迁移后的分布式训练脚本。
  2. 参见PyTorch Profiling修改训练脚本，并拉起分布式训练进行数据采集（PyTorch Profiling的使用，各场景均相同）。
  3. 参见性能数据解析与导出进行采集数据的解析与导出。

数据展示

集群场景的性能数据需要通过MindStudio IDE工具进行界面化展示。

1. 将采集生成所有节点的PROF_XXX目录全部拷贝至MindStudio工具所在的服务器。
2. MindStudio IDE导入集群场景性能数据方式请参见《MindStudio 用户指南》中的“性能分析 > Import Result”章节。
3. MindStudio IDE展示集群场景性能数据请参见《MindStudio 用户指南》中的 “性能分析 > 性能数据展示 > Analysis Summary和集群场景数据”章节。