昇腾社区首页
中文
注册

使用说明

并行策略展示

概览(Summary)界面支持并行策略设定值的管理,可根据导入的性能数据区分。

  • 性能数据中有采集到的并行策略参数值:可自动读取并填写在页面中,页面信息按照输入值自动刷新,如果需要重新设置并行参数值,可填写正确的值,单击“生成”,弹出二次确认窗口,请确认信息后,单击“确认”,页面信息会随之刷新。
  • 性能数据中无采集到的并行策略参数值:可根据实际情况分别填写正确的PP大小、TP大小、CP大小、DP大小、MOE-TP大小和EP大小值,单击“生成”,页面信息会随之刷新。

自行配置并行策略,PP大小为4、TP大小为4、CP大小为4,DP大小为8,EP大小为1,单击“生成”,并行策略展示图按照输入值刷新,如图1所示。

当选择不同的维度时,可根据需求勾选流水线并行、张量并行、上下文并行、数据并行或专家并行,并行策略图会按照勾选的选项显示划分策略选框,单击选框时,下方页面会随之更新。

并行策略图还可选择“性能指标”“筛选范围”对并行策略图中的目标进行颜色渲染,选择“目标编号”,单击“查找”,快速定位目标编号。

可将任一目标编号的所选性能指标设置为最小或最大筛选值,帮助快速定位和分析问题。在所有维度下,选择性能指标后,在并行策略展示图中选择任一目标编号,单击鼠标右键弹出菜单,单击“设为最小筛选值”“设为最大筛选值”,设置当前目标编号所选的性能指标值为“最小筛选值”或“最大筛选值”,展示图中渲染颜色会跟随变化,且筛选范围也会随之变化。

图1 数据并行策略
  • 并行策略取值规则:PP大小 x TP大小 x CP大小 x DP大小 ≥ 导入的卡数量。
  • 当在MindStudio Insight工具导入之前曾导入过的数据时,并行策略的值会存在记忆功能,会默认展示之前设置的并行策略取值。

支持页面信息联动

  • 连线联动

    并行策略设置完成后,当选择“DP + PP + CP + TP”并行维度时,在策略图展示区域,可单击目标编号,出现相关连线,单击对应连线,下方页面会随之变化,实现联动功能,便于开发者查看数据差异,如图2所示。

    也可在“DP + PP + TP”“DP + PP + CP + TP”维度下,单击目标编号,出现连线,使用鼠标右键单击任一连线,选择“查看通信耗时分析”,跳转至通信界面,展示目标编号所属通信域的详情。

    “DP + PP + CP + TP”并行维度下,单击策略图中序号0相关的张量并行连线,计算/通信概览、计算详情(Rank ID)和通信详情(Rank ID)随之变化,计算/通信概览展示与序号0相关的通信域为“(0,1,2,3)”的信息详情,计算详情(Rank ID)与通信详情(Rank ID)分别展示对应卡的计算详情和通信详情,单击计算/通信概览区域中任意卡的柱状图时,计算详情和通信详情会展示相应卡的详情信息。

    图2 联动功能
  • 框选联动

    选择任意一个维度,当勾选流水线并行、张量并行、上下文并行或数据并行时,并行策略图会按照勾选的选项显示划分策略,出现框选区域,单击选框,下方页面会随之变化,实现联动功能,如图3所示。

    “DP + PP + CP”并行维度下,勾选流水线并行,并行策略图会随之更新,并出现选框,单击流水线并行选框,计算/通信概览也随之更新。
    图3 框选联动

支持展示不同维度的并行策略

在概览(Summary)界面下,设置了并行策略值后,可选择“DP”“DP + PP”“DP + PP + CP”“DP + PP + TP”“DP + PP + CP + TP”并行维度展示并行策略图。

可通过选择并行策略图上的维度页签展开相应维度,也可使用鼠标右键单击目标编号对各维度进行展开和折叠操作。

  • 展开操作:在“DP”“DP + PP”“DP + PP + CP”维度下,选择任一目标编号,单击鼠标右键弹出菜单,单击“展开”,可展开当前目标编号至下一维度。
  • 折叠操作:在“DP + PP”“DP + PP + CP”“DP + PP + TP”“DP + PP + CP + TP”维度下,选择任一目标编号,单击鼠标右键弹出菜单,单击“折叠”,可折叠当前目标编号至上一维度。

当CP大小设置为1时,显示为“DP”“DP + PP”“DP + PP + TP”并行维度,且在各维度下不显示“上下文并行大小”

各维度展示详情如下:

  • DP维度

    当选择“DP”并行维度时,默认勾选“数据并行”,单击策略图中的选框,计算/通信概览柱状图随之而变动;根据需求选择性能指标,策略图会被渲染填色,便于直观的分析指标,如图4所示。可设置性能指标对应的筛选范围,在目标编号中输入所需的编号,可精准定位目标。

    单击柱状图顶部数据类型的对应图示,可在柱状图中隐藏或展示对应数据。

    图4 DP维度
  • DP + PP维度

    当选择“DP + PP”并行维度时,可勾选“流水线并行”“数据并行”,单击策略图中的选框,计算/通信概览柱状图随之而变动;根据需求选择性能指标,策略图会被渲染填色,便于直观的分析指标,如图5所示。可设置性能指标对应的筛选范围,在目标编号中输入所需的编号,可精准定位目标。

    单击柱状图顶部数据类型的对应图示,可在柱状图中隐藏或展示对应数据。

    图5 DP + PP维度
  • DP + PP + CP维度

    “算法”选择“Megatron-LM(tp-cp-ep-dp-pp)”“Megatron-LM(tp-cp-pp-ep-dp)”“MindSpeed(tp-cp-ep-dp-pp)”时,会展示“DP + PP + CP”并行维度,可勾选“流水线并行”“上下文并行”“数据并行”,单击策略图中的选框,计算/通信概览柱状图随之而变动;根据需求选择性能指标,策略图会被渲染填色,便于直观的分析指标,如图6所示。可设置性能指标对应的筛选范围,在目标编号中输入所需的编号,可精准定位目标。

    可单击柱状图顶部数据类型的对应图示,可在柱状图中隐藏或展示对应数据。

    图6 DP + PP + CP维度
  • DP + PP + TP维度

    “算法”选择“MindIE-LLM(tp-dp-ep-pp-moetp)”“vLLM(tp-pp-dp-ep)”时,会展示“DP + PP + TP”并行维度,可勾选“流水线并行”“张量并行”“数据并行”“专家并行”,单击策略图中的选框,计算/通信概览柱状图随之而变动;根据需求选择性能指标,策略图会被渲染填色,便于直观的分析指标,如图7所示。可设置性能指标对应的筛选范围,在目标编号中输入所需的编号,可精准定位目标。

    可单击卡片,选择对应连线,在策略图下方展示相应的计算/通信概览信息、计算详情和通信详情;还可单击柱状图顶部数据类型的对应图示,可在柱状图中隐藏或展示对应数据。

    图7 DP + PP + TP维度
  • DP + PP + CP + TP维度

    “算法”选择“Megatron-LM(tp-cp-ep-dp-pp)”“Megatron-LM(tp-cp-pp-ep-dp)”“MindSpeed(tp-cp-ep-dp-pp)”时,会展示“DP + PP + CP + TP”并行维度,可勾选“流水线并行”“张量并行”“上下文并行”“数据并行”,单击策略图中的选框,计算/通信概览柱状图随之而变动;根据需求选择性能指标,策略图会被渲染填色,便于直观的分析指标,如图8所示。可设置性能指标对应的筛选范围,在目标编号中输入所需的编号,可精准定位目标。

    可单击卡片,选择对应连线,在策略图下方展示相应的计算/通信概览信息、计算详情和通信详情;还可单击柱状图顶部数据类型的对应图示,可在柱状图中隐藏或展示对应数据。

    图8 DP + PP + CP + TP维度

支持集群数据对比

MindStudio Insight支持集群数据对比,可帮助开发者直观明了地查看数据之间的差异,便于分析,设置基线数据和对比数据的操作请参见数据对比

在对比模式下,概览(Summary)界面“基本信息”区域分别展示对比数据的信息和基线数据的信息。

并行策略分析区域,并行策略配置参数应遵循取值规则,导入卡的数量以对比数据或者基线数据的最大设备数为准。在并行策略图中选择目标编号,显示的详情信息为对比数据信息,括号中的为差值。

“计算/通信概览”区域的柱形图详情中会显示对比数据和基线数据的差值,如图9所示。

图9 概览界面对比模式

支持展示专家分布热点图和负载均衡热力图

在MOE大模型专家负载均衡分析区域,可选择展示专家分布热点图和专家负载均衡热力图。

  • 专家分布热点图

    当导入的Profiling数据中包含专家分布热点数据时,参数配置栏的“数据类型”选择“Profiling”,配置其它相关参数,单击“查询”,可展示专家分布热点图。

  • 专家负载均衡热力图

    当需要导入负载均衡dump前和dump后的数据时,在参数配置栏的“数据类型”选择“Dump-均衡前”“Dump-均衡后”,单击按钮导入对应文件,展示MOE模型专家负载均衡热力图,如图10所示,文件导入成功后,参数会自动填入默认值。

其中纵坐标表示模型总层数(MOE层 + 非MOE层),横坐标表示专家序号,当选择图表中的某一个单元格时,会展示该单元格的详情,包括专家索引、ID、层数、Rank ID和访问量。

在图形上,可使用Ctrl + 鼠标滚轮对热力图进行缩放。

图10 MOE模型专家负载均衡分析