使用说明
并行策略展示
概览(Summary)界面支持并行策略设定值的管理,可根据导入的性能数据区分。
- 性能数据中有采集到的并行策略参数值:可自动读取并填写在页面中,页面信息按照输入值自动刷新,如果需要重新设置并行参数值,可填写正确的值,单击“生成”,弹出二次确认窗口,请确认信息后,单击“确认”,页面信息会随之刷新。
- 性能数据中无采集到的并行策略参数值:可根据实际情况分别填写正确的PP大小、TP大小、CP大小、DP大小、MOE-TP大小和EP大小值,单击“生成”,页面信息会随之刷新。
自行配置并行策略,PP大小为4、TP大小为4、CP大小为4,DP大小为8,EP大小为1,单击“生成”,并行策略展示图按照输入值刷新,如图1所示。
当选择不同的维度时,可根据需求勾选流水线并行、张量并行、上下文并行、数据并行或专家并行,并行策略图会按照勾选的选项显示划分策略选框,单击选框时,下方页面会随之更新。
并行策略图还可选择“性能指标”、“筛选范围”对并行策略图中的目标进行颜色渲染,选择“目标编号”,单击“查找”,快速定位目标编号。
可将任一目标编号的所选性能指标设置为最小或最大筛选值,帮助快速定位和分析问题。在所有维度下,选择性能指标后,在并行策略展示图中选择任一目标编号,单击鼠标右键弹出菜单,单击“设为最小筛选值”或“设为最大筛选值”,设置当前目标编号所选的性能指标值为“最小筛选值”或“最大筛选值”,展示图中渲染颜色会跟随变化,且筛选范围也会随之变化。

- 并行策略取值规则:PP大小 x TP大小 x CP大小 x DP大小 ≥ 导入的卡数量。
- 当在MindStudio Insight工具导入之前曾导入过的数据时,并行策略的值会存在记忆功能,会默认展示之前设置的并行策略取值。
支持页面信息联动
- 连线联动
并行策略设置完成后,当选择“DP + PP + CP + TP”并行维度时,在策略图展示区域,可单击目标编号,出现相关连线,单击对应连线,下方页面会随之变化,实现联动功能,便于开发者查看数据差异,如图2所示。
也可在“DP + PP + TP”或“DP + PP + CP + TP”维度下,单击目标编号,出现连线,使用鼠标右键单击任一连线,选择“查看通信耗时分析”,跳转至通信界面,展示目标编号所属通信域的详情。
在“DP + PP + CP + TP”并行维度下,单击策略图中序号0相关的张量并行连线,计算/通信概览、计算详情(Rank ID)和通信详情(Rank ID)随之变化,计算/通信概览展示与序号0相关的通信域为“(0,1,2,3)”的信息详情,计算详情(Rank ID)与通信详情(Rank ID)分别展示对应卡的计算详情和通信详情,单击计算/通信概览区域中任意卡的柱状图时,计算详情和通信详情会展示相应卡的详情信息。
- 框选联动
选择任意一个维度,当勾选流水线并行、张量并行、上下文并行或数据并行时,并行策略图会按照勾选的选项显示划分策略,出现框选区域,单击选框,下方页面会随之变化,实现联动功能,如图3所示。
支持展示不同维度的并行策略
在概览(Summary)界面下,设置了并行策略值后,可选择“DP”、“DP + PP”、“DP + PP + CP”、“DP + PP + TP”或“DP + PP + CP + TP”并行维度展示并行策略图。
可通过选择并行策略图上的维度页签展开相应维度,也可使用鼠标右键单击目标编号对各维度进行展开和折叠操作。
- 展开操作:在“DP”、“DP + PP”或“DP + PP + CP”维度下,选择任一目标编号,单击鼠标右键弹出菜单,单击“展开”,可展开当前目标编号至下一维度。
- 折叠操作:在“DP + PP”、“DP + PP + CP”、“DP + PP + TP”或“DP + PP + CP + TP”维度下,选择任一目标编号,单击鼠标右键弹出菜单,单击“折叠”,可折叠当前目标编号至上一维度。

当CP大小设置为1时,显示为“DP”、“DP + PP”和“DP + PP + TP”并行维度,且在各维度下不显示“上下文并行大小”。
各维度展示详情如下:
- DP维度
当选择“DP”并行维度时,默认勾选“数据并行”,单击策略图中的选框,计算/通信概览柱状图随之而变动;根据需求选择性能指标,策略图会被渲染填色,便于直观的分析指标,如图4所示。可设置性能指标对应的筛选范围,在目标编号中输入所需的编号,可精准定位目标。
单击柱状图顶部数据类型的对应图示,可在柱状图中隐藏或展示对应数据。
- DP + PP维度
当选择“DP + PP”并行维度时,可勾选“流水线并行”和“数据并行”,单击策略图中的选框,计算/通信概览柱状图随之而变动;根据需求选择性能指标,策略图会被渲染填色,便于直观的分析指标,如图5所示。可设置性能指标对应的筛选范围,在目标编号中输入所需的编号,可精准定位目标。
单击柱状图顶部数据类型的对应图示,可在柱状图中隐藏或展示对应数据。
- DP + PP + CP维度
当“算法”选择“Megatron-LM(tp-cp-ep-dp-pp)”、“Megatron-LM(tp-cp-pp-ep-dp)”或“MindSpeed(tp-cp-ep-dp-pp)”时,会展示“DP + PP + CP”并行维度,可勾选“流水线并行”、“上下文并行”和“数据并行”,单击策略图中的选框,计算/通信概览柱状图随之而变动;根据需求选择性能指标,策略图会被渲染填色,便于直观的分析指标,如图6所示。可设置性能指标对应的筛选范围,在目标编号中输入所需的编号,可精准定位目标。
可单击柱状图顶部数据类型的对应图示,可在柱状图中隐藏或展示对应数据。
- DP + PP + TP维度
当“算法”选择“MindIE-LLM(tp-dp-ep-pp-moetp)”或“vLLM(tp-pp-dp-ep)”时,会展示“DP + PP + TP”并行维度,可勾选“流水线并行”、“张量并行”、“数据并行”和“专家并行”,单击策略图中的选框,计算/通信概览柱状图随之而变动;根据需求选择性能指标,策略图会被渲染填色,便于直观的分析指标,如图7所示。可设置性能指标对应的筛选范围,在目标编号中输入所需的编号,可精准定位目标。
可单击卡片,选择对应连线,在策略图下方展示相应的计算/通信概览信息、计算详情和通信详情;还可单击柱状图顶部数据类型的对应图示,可在柱状图中隐藏或展示对应数据。
- DP + PP + CP + TP维度
当“算法”选择“Megatron-LM(tp-cp-ep-dp-pp)”、“Megatron-LM(tp-cp-pp-ep-dp)”或“MindSpeed(tp-cp-ep-dp-pp)”时,会展示“DP + PP + CP + TP”并行维度,可勾选“流水线并行”、“张量并行”、“上下文并行”和“数据并行”,单击策略图中的选框,计算/通信概览柱状图随之而变动;根据需求选择性能指标,策略图会被渲染填色,便于直观的分析指标,如图8所示。可设置性能指标对应的筛选范围,在目标编号中输入所需的编号,可精准定位目标。
可单击卡片,选择对应连线,在策略图下方展示相应的计算/通信概览信息、计算详情和通信详情;还可单击柱状图顶部数据类型的对应图示,可在柱状图中隐藏或展示对应数据。
支持集群数据对比
MindStudio Insight支持集群数据对比,可帮助开发者直观明了地查看数据之间的差异,便于分析,设置基线数据和对比数据的操作请参见数据对比。
在对比模式下,概览(Summary)界面“基本信息”区域分别展示对比数据的信息和基线数据的信息。
并行策略分析区域,并行策略配置参数应遵循取值规则,导入卡的数量以对比数据或者基线数据的最大设备数为准。在并行策略图中选择目标编号,显示的详情信息为对比数据信息,括号中的为差值。
在“计算/通信概览”区域的柱形图详情中会显示对比数据和基线数据的差值,如图9所示。
支持展示专家分布热点图和负载均衡热力图
在MOE大模型专家负载均衡分析区域,可选择展示专家分布热点图和专家负载均衡热力图。
- 专家分布热点图
当导入的Profiling数据中包含专家分布热点数据时,参数配置栏的“数据类型”选择“Profiling”,配置其它相关参数,单击“查询”,可展示专家分布热点图。
- 专家负载均衡热力图
当需要导入负载均衡dump前和dump后的数据时,在参数配置栏的“数据类型”选择“Dump-均衡前”或“Dump-均衡后”,单击
按钮导入对应文件,展示MOE模型专家负载均衡热力图,如图10所示,文件导入成功后,参数会自动填入默认值。
其中纵坐标表示模型总层数(MOE层 + 非MOE层),横坐标表示专家序号,当选择图表中的某一个单元格时,会展示该单元格的详情,包括专家索引、ID、层数、Rank ID和访问量。
在图形上,可使用Ctrl + 鼠标滚轮对热力图进行缩放。