MindStudio是华为面向昇腾AI开发者打造的全流程开发工具集,旨在提供高效、便捷的一站式开发体验。
MindStudio提供一站式AI开发环境,助力开发者高效完成算子开发、训练开发和推理开发。MindStudio功能框架如图1所示。
图1 工具集功能架构
按照开发场景分类,MindStudio可以分为以下三种工具链:
- 算子开发工具: MindStudio Operator Tools(msOT)算子开发工具链,聚焦算子开发中的关键挑战。通过提供算子设计、开发框架生成、功能调试、异常检测与多维性能调优等能力,降低算子开发复杂度,提升高性能算子的交付效率。
- 训练开发工具: MindStudio Training Tools(msTT)训练开发工具链,聚焦训练开发中的关键挑战。通过提供分析迁移、精度调试与性能调优三大核心工具,高效应对迁移受阻、Loss 异常、性能不达标等问题,助力实现精度与性能双优的极简开发体验。
- 推理开发工具: MindStudio Inference Tools(msIT)推理开发工具链,聚焦大模型与传统模型推理开发中的关键挑战,通过提供模型压缩、调试与调优等能力,高效解决推理效率低、资源开销大等问题,助力用户实现最优推理性能。
MindStudio Insight(msInsight)是一款用于模型、算子、服务化及内存性能调优的可视化工具,可显著提升开发者进行性能调优的效率。
- 模型调优场景:提供了多维度性能数据分析功能,包括内存定界、算子、调度、通信等方面的分析功能,帮助开发者高效定位问题。针对大模型集群场景,支持对集群性能Timeline数据并行分析,使开发者快速识别通信慢、卡顿和链路瓶颈等问题。
- 算子调优场景:支持算子内存和计算负载分析、Roofline瓶颈分析、代码性能度量及指令流水并行分析等功能,助力开发者快速实现算子性能调优。
- 服务化调优:通过Timeline视图和折线图来呈现推理服务化进程中各个关键阶段的执行情况和端到端的性能表现,帮助开发者快速识别请求调度、显存管理、批处理策略等系统级问题。
- 内存调优:支持Device侧可视化呈现内存的详细分配情况,并结合Python调用栈及自定义打点标签来标记各种内存申请与使用详情,从而实现内存问题的精准定位及调优。
图2 MindStudio Insight界面