昇腾社区首页
中文
注册

使用说明

支持切换卡

MindStudio Insight支持通过切换卡序号来查看不同卡的内存信息,单击界面上方卡序号的输入框,在下拉框选择需要查看的卡号,切换之后界面将显示对应卡的算子内存折线图、内存申请/释放详情表,如图1所示。

图1 切换卡序号

支持切换展示维度

MindStudio Insight支持通过切换分组方式来查看不同维度的算子内存折线图,单击界面上方分组方式的输入框,在下拉框选择需要查看的维度。该功能仅在动态图场景下支持。

  • 全局:以全局为维度,统计算子在保留、分配和持有状态下的内存大小,以及PyTorch整体的保留内存大小,如图2所示。
    图2 全局维度
  • 流:以流为维度,统计处于保留、分配和持有状态的算子内存大小,如图3所示。
    图3 流维度

支持内存折线图局部放大和还原

MindStudio Insight支持通过鼠标左键框选放大选中部分和右键还原进行折线图的展示。为提升显示性能,折线图在数据量较大时会隐藏大部分点,可在框选到足够精细区域时显示所有点位,也可单击鼠标右键还原最初整体展示效果。

在折线图中单击鼠标左键拖至需要放大的终点位置并松开鼠标左键,框选部分将会被放大;如果还存在点被隐藏,重复放大操作即可展示被隐藏的点,选中放大区域如图4所示,放大后如图5所示。

图4 选中放大区域
图5 局部放大展示
  • 单击折线图右上角按钮,使其为置灰状态,则折线图将锁定,不再支持鼠标左键框选放大功能;再次单击此按钮,或者单击鼠标右键即可恢复。放大功能默认开启。
  • 单击折线图右上角按钮,折线图将会撤销一次放大操作。
  • 单击折线图右上方按钮,折线图将会恢复最初状态。

支持搜索算子

MindStudio Insight支持搜索算子,在内存申请/释放详情表中,设置了筛选条件栏和控制按钮,可通过设置查询条件进行算子明细表的展示。查询条件为算子名称和算子占用内存大小区间范围(最小值和最大值),默认展示内存大小在0~1000000KB范围内的算子,用户可根据实际需要进行调整。

单击“查询”后即可查询,单击“重置”将会重置查询条件并再次进行查询。

在MindSpore静态图场景下,显示为静态图算子内存申请/释放详情表。其它场景下,则显示的是动态图算子内存申请/释放详情表。

  • 动态图搜索如图6所示,搜索算子名称为aten相关且内存大小为0~65KB的算子,表格中字段解释如表1所示。
    图6 搜索算子
    表1 动态图字段说明

    中文字段

    英文字段

    说明

    名称

    Name

    算子名称。

    大小(KB)

    Size(KB)

    申请内存大小,单位KB。

    分配时间(ms)

    Allocation Time(ms)

    Tensor内存分配时间。(从采集开始时计算,单位ms)。

    释放时间(ms)

    Release Time(ms)

    Tensor内存释放时间。(从采集开始时计算,单位ms)。

    时长(ms)

    Duration(ms)

    内存持有时间。

    持有内存释放时间(ms)

    Active Release Time(ms)

    内存实际归还内存池时间。

    内存持有时长(ms)

    Active Duration(ms)

    内存实际占用时间。

    总分配内存(MB)

    Allocation Total Allocated(MB)

    算子内存分配时,PyTorch和GE内存实际分配总额。

    总保留内存(MB)

    Allocation Total Reserved(MB)

    算子内存分配时,PyTorch和GE内存预留总额。

    总持有内存(MB)

    Allocation Total Active(MB)

    算子内存分配时,当前流所申请的总内存(包括被其他流复用的未释放的内存)。

    总释放已分配内存(MB)

    Release Total Allocated(MB)

    算子内存释放后,内存池中PyTorch和GE正在使用的内存大小。

    总释放保留内存(MB)

    Release Total Reserved(MB)

    算子内存释放后,内存池中PyTorch和GE所占用的内存大小。

    总释放持有内存(MB)

    Release Total Active(MB)

    算子内存释放后,PyTorch和GE内存中被其他流复用的内存总额。

    Stream

    AscendCL流的内存地址,用于标记不同的AscendCL流。

  • 静态图模式下,搜索功能如图7所示,搜索算子名称中包含data相关且内存大小为0~35KB的算子,表格中字段解释如表2所示。
    图7 静态图搜索算子
    表2 静态图字段说明

    中文字段

    英文字段

    说明

    设备序号

    Device ID

    申请内存的设备序号,默认host。

    名称

    Name

    算子名称。

    节点索引开始

    Node Index Start

    搜索开始节点。

    节点索引结束

    Node Index End

    搜索结束节点。

    其中显示为“4294967295”的值为索引最终结束节点, 该节点在静态图中表示为实际结束节点加1的节点,例如,实际结束节点为32,静态图中横坐标节点索引则显示33,表格中节点索引结束值显示为“4294967295”

    大小(MB)

    Size(MB)

    申请内存大小,单位MB。

支持高亮显示

“分组方式”选择“全局”时,将鼠标移入表格中某条数据时(前提是折线图放大到足以展示表格中所有算子),若折线图上方显示了该条数据对应的点位(包括分配时间和释放时间),则折线图上对应点会有高亮效果出现,方便快速定位到该算子所在位置。

将鼠标放置表格中红框位置,折线图立即高亮显示算子所在位置,如图8所示。

图8 算子高亮显示

支持卡间性能对比

MindStudio Insight支持卡间内存性能对比,设置对比数据请参见数据对比

在卡间性能对比模式下,“卡序号”是固定的,不能进行切换。算子内存折线图中将显示两个卡的内存变化,可直观的查看两卡间的内存对比趋势。内存申请/释放详情表中会显示两卡间的数据差异详情,并可按名称与内存大小搜索相关算子,此时,输入的内存最小值可为负值,且搜索条件仅针对对比结果,如图9所示。

单击内存申请/释放详情表中“详情”列的“查看更多”,可显示基线数据和对比数据的详情。

图9 性能对比