MindStudio
MindStudio是华为面向昇腾AI开发者提供的全流程工具链,致力于提供端到端的昇腾AI应用开发解决方案,使能开发者高效完成训练开发、推理开发和算子开发。
可视化工具
- MindStudio Insight工具
可视化性能调优工具,辅助定位模型和算子的性能问题。
- 模型分级可视化工具(Tensorboard)
可视化精度调试工具,将采集的MindSpore和PyTorch训练精度数据和模型结构可视化呈现。
算子开发工具
- 算子设计(msKPP)
msKPP提供性能建模分析、调用msOpGen算子工程和基于Ascend C模板库进行自动调优等功能。
- 算子工程创建(msOpGen)
msOpGen提供模板工程创建、简化算子工程搭建和辅助算子测试验证等功能。
- 算子测试(msOpST)
msOpST提供在真实的硬件环境下对算子的输入输出进行测试的功能,用于验证算子功能的正确性。
- 异常检测(msSanitizer)
msSanitizer提供内存检测、竞争检测及未初始化检测的功能,支持多核程序下精准定位内存问题。
- 算子调试(msDebug)
msDebug基于昇腾处理器的原生环境调试能力,实现灵活的变量展示,支持算子功能调试,单步调试(包括上板和仿真)等功能。
- 算子调优(msProf)
msProf支持上板和仿真的性能数据采集,并通过MindStudio Insight进行可视化展示,协助用户快速定位算子性能瓶颈。
训练开发工具
- 分析迁移工具
将PyTorch训练脚本一键式迁移至昇腾NPU。
- MindStudio精度调试工具(msProbe)
MindSpore和PyTorch训练场景的精度数据采集、预检、比对等。
- 精度调试工具
TensorFlow训练场景的精度比对。
- 性能调优工具
MindSpore、PyTorch、TensorFlow训练等场景的性能数据采集和分析。
- 在线监控工具(msMonitor)
实现对性能数据的在线采集和解析。
- msLeaks内存泄漏检测工具
模型训练过程中的内存问题检测。
- 性能分析工具(msprof_analyze)
将采集到的PyTorch和MindSpore训练场景性能数据进行比对和分析并输出分析结果。
- 算子及模型速查工具
查询当前版本CANN支持的模型和算子。
- 昇腾亲和性CPU绑核工具
按CPU亲和性策略绑核,提升推理或训练性能。
推理开发工具
- 大模型环境部署预检工具
提供推理前预检、推理中落盘和推理后比对功能。
- 模型量化工具(msModelSlim)
以加速为目标、压缩为技术、昇腾为根本的亲和压缩工具。
- 大模型推理精度工具(Large Language Model Debug Tool)
提供大模型推理数据自动bad case分析、dump、自动比对等功能。
- 传统模型推理精度工具(msit debug)
传统模型推理的一站式调试调优工具,提供数据dump、自动比对、精度预检,以及ONNX优化和改图功能。
- 精度调试工具
TensorFlow、ONNX、Caffe推理场景的精度比对。
- msprof模型调优工具
msprof命令行方式进行性能数据采集和解析。
- 服务化调优工具
服务化调优工具链,支持MindIE Service框架和vLLM框架的服务化调优,提供服务化性能数据比对、vLLM服务化性能数据采集、服务化参数自动寻优和服务化专家建议功能。
- msLeaks内存泄漏检测工具
模型推理过程中的内存问题检测。
- 负载均衡工具
在DeepSeek模型静态或动态场景下进行负载均衡亲和专家寻优。
- AISBench Benchmark评测工具
模型精度和性能测评。(为第三方工具)
- 算子及模型速查工具
查询当前版本CANN支持的模型和算子。