昇腾社区首页
中文
注册

概述

msLeaks工具是基于昇腾AI处理器的内存检测工具,用于模型训练与推理过程中的内存问题定位。msLeaks工具提供Step内和Step间的内存异常检测能力,包括Step内内存泄漏分析和Step间内存对比分析。

功能特性

msLeaks工具目前已支持的功能如表1

表1 msLeaks工具功能特性

功能

使用场景及说明

Step内内存泄漏分析

针对内存长时间未释放、内存泄漏等问题,需要进行Step内内存分析的情况,msLeaks工具提供Step内内存泄漏分析和kernelLaunch粒度的内存变化分析功能,进行告警定位与分析。

Step间内存对比分析

当两个Step内存使用存在差异,可能造成内存使用过多,甚至OOM(Out of Memory,内存溢出)的问题,则需要使用msLeaks工具的Step间内存对比分析功能来定位并分析问题。

内存块监测

对大模型场景下,内存踩踏定位困难的情况,msLeaks工具可通过Python接口在算子执行前后监测指定内存块,根据内存块数据的变化,定位算子间内存踩踏的范围或具体位置。

支持模型

当前msLeaks工具支持下列框架模型的内存检测:

  • Ascend Extension for PyTorch 7.0.0及之后版本的深度学习模型
  • MindSpore 2.7.0及之后版本的模型
  • CANN 8.2.RC1及之后版本的ATB算子模型