- 训练工具全景旅程图
- 推理工具全景旅程图
- 训练工具资料大纲
| 工具 | 说明 | 资料承载 | 资料链接 |
| 分析迁移 | |||
| 自动迁移工具 | 支持将PyTorch训练脚本从GPU平台迁移至昇腾NPU平台 | Gitee开源 | https://gitee.com/ascend/mstt/wikis/%E5%B7%A5%E5%85%B7%E4%BB%8B%E7%BB%8D/%E5%88%86%E6%9E%90%E8%BF%81%E7%A7%BB%E5%B7%A5%E5%85%B7/%E5%88%86%E6%9E%90%E8%BF%81%E7%A7%BB%E5%B7%A5%E5%85%B7%E4%BB%8B%E7%BB%8D |
| 脚本迁移工具（PyTorch GPU2Ascend） | 支持将PyTorch训练脚本从GPU平台迁移至昇腾NPU平台 | Gitee开源 | |
| 脚本分析工具（PyTorch Analyse） | 提供分析脚本，帮助用户在执行迁移操作前，分析基于GPU平台的PyTorch训练脚本中算子、三方库套件、亲和API分析以及动态shape的支持情况 | Gitee开源 | |
| 训推一体权重转换工具 | 支持在NPU和GPU上训练好的模型转成Huggingface格式bin文件，用于推理使用 | Gitee开源 | |
| 分析迁移工具 | 提供PyTorch/TensorFlow训练脚本一键式迁移至昇腾NPU或MindSpore生态的功能 | 社区 | https://www.hiascend.com/document/detail/zh/mindstudio/70RC2/T&ITools/training&inferencetools/atlasfmkt_16_0001.html |
| 精度分析 | |||
| MindStudio精度调试工具（MindStudio Probe） | MindStudio Training Tools工具链下精度调试部分的工具包，提供精度数据采集、预检以及溢出检测等功能，用于辅助用户快速定位模型精度问题 | Gitee开源 | https://gitee.com/ascend/mstt/tree/master/debug/accuracy_tools |
| Ascend模型精度预检工具（api_accuracy_checker） | 在昇腾NPU上扫描用户训练模型中所有API，输出精度情况的诊断和分析 | Gitee开源 | |
| PyTorch精度工具（ptdbg_ascend） | 能进行PyTorch整网API粒度的数据dump、精度比对和溢出检测，从而定位PyTorch训练场景下的精度问题 | Gitee开源 | |
| 精度调试工具 | 提供自有实现算子的运算结果与业界标杆算子运算结果之间差异比对的工具 | 社区 | https://www.hiascend.com/document/detail/zh/mindstudio/70RC2/T&ITools/training&inferencetools/atlasaccuracy_16_0001.html |
| 性能分析 | |||
| 性能比对工具（compare_tools） | 支持比较GPU与NPU之间、NPU与NPU之间的性能差异 | Gitee开源 | https://gitee.com/ascend/mstt/tree/master/profiler |
| 集群分析工具（cluster_analyse） | 在集群场景下，通过此工具来进行集群数据的分析 | Gitee开源 | |
| 专家建议工具（advisor） | 将Ascend PyTorch Profiler或者msprof采集的PyThon场景性能数据进行分析，并输出性能调优建议 | Gitee开源 | |
| 可视化呈现（Tensorboard） | PyTorch profiling数据以及可视化的TensorBoard的插件 | Gitee开源 | https://gitee.com/ascend/mstt/tree/master/plugins/tensorboard-plugins/tb_plugin |
| 性能分析工具 | 用于采集和分析运行在昇腾AI处理器上的AI任务各个运行阶段的关键性能指标 | 社区 | https://www.hiascend.com/document/detail/zh/mindstudio/70RC2/T&ITools/training&inferencetools/atlasprofiling_16_0001.html |
| 扩展功能 | |||
| AMCT工具 | 一个针对昇腾芯片亲和的深度学习模型压缩工具包 | 社区 | https://www.hiascend.com/document/detail/zh/mindstudio/70RC2/T&ITools/training&inferencetools/auxiliarydevtool_0017.html |
| AOE工具 | 一款自动调优工具，作用是充分利用有限的硬件资源，以满足算子和整网的性能要求 | 社区 | https://www.hiascend.com/document/detail/zh/mindstudio/70RC2/T&ITools/training&inferencetools/auxiliarydevtool_0010.html |
| HCCL性能测试工具 | 分布式训练场景下，开发者可以通过此工具测试HCCL集合通信的功能正确性以及性能 | 社区 | https://www.hiascend.com/document/detail/zh/mindstudio/70RC2/T&ITools/training&inferencetools/auxiliarydevtool_0018.html |
| 算子及模型速查工具 | 用于查询当前版本CANN支持的算子信息和ModelZoo支持的模型信息 | 社区 | https://www.hiascend.com/document/detail/zh/mindstudio/70RC2/T&ITools/training&inferencetools/atlasopmodelquery_16_0001.html |
- 推理工具资料大纲
| 一级目录 | 说明 | 资料承载 | 资料链接 |
| 迁移分析 | |||
| 模型支持度分析工具（msit analyze） | Analyze分析工具提供从Caffe、TensorFlow以及ONNX模型迁移至昇腾硬件平台上的模型支持度分析功能。涵盖ATC支持度分析、昇腾算子速查工具分析以及ONNXChecker算子约束分析三大分析手段。 | Gitee开源 | https://gitee.com/ascend/msit/tree/master/msit/docs/analyze |
| 模型转换 | |||
| LLM迁移工具（msit llm transform） | 支持 PyTorch transformers LLM 模型迁移生成 atb 浮点模型，或由 LLM 的浮点模型 layer 层代码，迁移生成稀疏量化 layer 层代码，并输出大模型迁移分析报告。 | Gitee开源 | https://gitee.com/ascend/msit/blob/master/msit/docs/llm/%E5%B7%A5%E5%85%B7-llm%E6%A8%A1%E5%9E%8B%E8%BF%81%E7%A7%BB%E5%88%86%E6%9E%90%E4%BD%BF%E7%94%A8%E8%AF%B4%E6%98%8E.md |
| ATC工具 | 是异构计算架构CANN体系下的模型转换工具， 可将开源框架的网络模型以及Ascend IR定义的单算子描述文件（json格式）转换为昇腾AI处理器支持的.om格式离线模型。 | 社区 | https://www.hiascend.com/document/detail/zh/mindstudio/70RC2/T&ITools/training&inferencetools/auxiliarydevtool_0007.html |
| 模型压缩 | |||
| 模型量化工具（msModelSlim） | 支持训练加速和推理加速，包括模型低秩分解、稀疏训练、训练后量化、量化感知训练等功能，昇腾AI模型开发用户可以灵活调用Python API接口，对模型进行性能调优，并支持导出不同格式模型，在昇腾AI处理器上运行。 | Gitee开源 | https://gitee.com/ascend/msit/tree/master/msmodelslim |
| 社区 | https://www.hiascend.com/document/detail/zh/mindstudio/70RC2/T&ITools/training&inferencetools/modelslim_0001.html | ||
| AMCT工具 | 是一个针对昇腾芯片亲和的深度学习模型压缩工具包，提供量化、稀疏等多种模型压缩特性，压缩后模型体积变小，部署到昇腾AI处理器上后可使能低比特运算，提高计算效率。 | 社区 | https://www.hiascend.com/document/detail/zh/mindstudio/70RC2/T&ITools/training&inferencetools/auxiliarydevtool_0017.html |
| 自动调优 | |||
| 传统模型自动调优（msit debug surgeon） | surgeon 通过内置知识库的自动调优，使能ONNX模型在昇腾芯片的优化，并提供基于ONNX的改图功能。 | Gitee开源 | https://gitee.com/ascend/msit/tree/master/msit/docs/debug/surgeon |
| AOE工具 | 是一款自动调优工具，通过生成调优策略、编译、在运行环境上验证的闭环反馈机制，不断迭代出更优的调优策略，最终得到最佳的调优策略。 | 社区 | https://www.hiascend.com/document/detail/zh/mindstudio/70RC2/T&ITools/training&inferencetools/auxiliarydevtool_0010.html |
| 精度分析 | |||
| Bad Case分析工具（msit llm bc-analyze） | msIT 工具针对两个模型在同一数据集下，表现不一致的情况，提供脚本和命令行两种交互方式来进行自动 bad case 分析，使能用户快速定位。 | Gitee开源 | https://gitee.com/ascend/msit/blob/500032ef926505894a5158ceb8ad51f63dd0aa85/msit/docs/llm/%E5%B7%A5%E5%85%B7-%E5%A4%A7%E6%A8%A1%E5%9E%8B%E7%B2%BE%E5%BA%A6%E5%AE%9A%E4%BD%8D%E4%B9%8BBadCase%E5%88%86%E6%9E%90%E5%B7%A5%E5%85%B7.md |
| LLM数据dump工具（msit llm dump） | 支持dump加速库模型推理过程中产生的中间数据，包括模型拓扑信息、Tensor信息、kernel 信息等。 | Gitee开源 | https://gitee.com/ascend/msit/blob/master/msit/docs/llm/%E5%B7%A5%E5%85%B7-DUMP%E5%8A%A0%E9%80%9F%E5%BA%93%E6%95%B0%E6%8D%AE%E4%BD%BF%E7%94%A8%E8%AF%B4%E6%98%8E.md |
| 支持dump pyTorch模型推理数据，包括tensor信息、模型拓扑信息等，提供python API来使能数据dump。 | https://gitee.com/ascend/msit/blob/master/msit/docs/llm/%E5%B7%A5%E5%85%B7-DUMP%E5%9C%A8%E7%BA%BF%E6%8E%A8%E7%90%86%E6%95%B0%E6%8D%AE%E4%BD%BF%E7%94%A8%E8%AF%B4%E6%98%8E.md | ||
| 传统模型精度比对工具（msit debug compare） | compare一键式全流程精度比对（推理）功能将推理场景的精度比对做了自动化，适用于 TensorFlow 和 ONNX 模型，用户只需要输入原始模型，对应的离线模型和输入，输出整网比对的结果。 | Gitee开源 | https://gitee.com/ascend/msit/tree/master/msit/docs/debug/compare |
| LLM精度比对工具（msit llm compare） | 提供模型推理数据与业界标杆数据比对的能力，适用于LLM模型，支持多种推理场景比对，帮助开发者快速定位模型精度问题。 | Gitee开源 | https://gitee.com/ascend/msit/blob/master/msit/docs/llm/%E5%B7%A5%E5%85%B7-%E8%87%AA%E5%8A%A8%E6%AF%94%E5%AF%B9%E5%8A%9F%E8%83%BD%E4%BD%BF%E7%94%A8%E8%AF%B4%E6%98%8E.md |
| 算子精度预检工具（msit llm opcheck） | opcheck提供加速库内置算子的单算子精度预检能力，检测加速库算子精度是否达标。 | Gitee开源 | https://gitee.com/ascend/msit/blob/master/msit/docs/llm/%E5%B7%A5%E5%85%B7-%E7%B2%BE%E5%BA%A6%E9%A2%84%E6%A3%80%E4%BD%BF%E7%94%A8%E8%AF%B4%E6%98%8E.md |
| 异常检测工具（msit llm errcheck） | 提供对模型推理过程中出现异常的检测能力，支持 Atlas 800I A2 推理卡场景下的算子溢出检测，包括饱和模式和非饱和模式。 | Gitee开源 | https://gitee.com/ascend/msit/blob/master/msit/docs/llm/%E5%B7%A5%E5%85%B7-%E5%BC%82%E5%B8%B8%E6%A3%80%E6%B5%8B%E4%BD%BF%E7%94%A8%E8%AF%B4%E6%98%8E.md |
| 精度调试工具 | 用于比对自有实现的算子运算结果与业界标准算子运算结果存在的差异，帮助开发人员快速定位算子精度问题的工具。 | 社区 | https://www.hiascend.com/document/detail/zh/mindstudio/70RC2/T&ITools/training&inferencetools/atlasaccuracy_16_0001.html |
| 性能分析 | |||
| om模型性能分析（msit benchmark） | benchmark推理功能可以通过使用针对指定的推理模型运行推理程序，测试推理模型的性能（包括吞吐率、时延） | Gitee开源 | https://gitee.com/ascend/msit/tree/master/msit/docs/benchmark |
| 性能分析工具 | 性能分析工具是用于分析运行在昇腾AI处理器上的App工程各个运行阶段的关键性能瓶颈，并提出针对性能优化的建议，最终实现产品的极致性能。 | 社区 | https://www.hiascend.com/document/detail/zh/mindstudio/70RC2/T&ITools/training&inferencetools/atlasprofiling_16_0001.html |
| 扩展功能 | |||
| tensor操作工具（msit tensor-view） | tensor-view工具提供了查看tensor的接口，源数据是dump后生成的bin文件。支持对tensor数据进行链式切片、转置操作。 | Gitee开源 | https://gitee.com/ascend/msit/tree/master/msit/docs/tensor_view |
| 算子及模型速查工具 | 算子和模型速查工具提供了查询当前版本CANN支持的模型和算子功能。 | 社区 | https://www.hiascend.com/document/detail/zh/mindstudio/70RC2/T&ITools/training&inferencetools/atlasopmodelquery_16_0001.html |
