推理一体化工具
概述
为方便用户在模型推理过程中快速调用MindStudio功能，提供模型推理一体化入口AMIT（Ascend Model Inference Tool），支持用户在统一入口下调用模型分析、模型转换、离线模型dump、精度比对和性能分析工具，提升开发效率。同时，AMIT工具界面提供步骤指引，方便用户理解推理开发流程，更易上手使用。
图1 AMIT工具
- 模型分析：分析模型中不支持的算子、查询当前CANN版本支持算子信息以及ModelZoo支持的模型信息。
- 模型转换：提供ATC工具进行模型的转换，并生成OM离线模型。
- 离线模型dump：根据转换后的OM离线模型生成dump数据。
- 精度比对：根据OM离线模型dump数据与业界标准算子运算结果之间进行精度差异比对。
- 性能分析：使用转换后的OM离线模型进行应用开发后，再使用Profiling工具采集性能数据并作简单的性能数据分析。
操作步骤
请参考以下步骤了解AMIT工具的操作流程，快速上手推理任务。
- 在菜单栏选择启动推理一体化工具。
- 进入AMIT工具流程界面，单击“Model Analyse”启动模型分析任务，如图2所示。
- 分析模型中不支持的算子信息。
- 模型速查，可以通过“Model Search by”后的下拉框选择支持的信息字段，并在输入框中补充关键字进行模型搜索，在当前界面得到查询结果，结果参数如表1所示。
图4 模型速查
表1 参数说明 参数
说明
Model Name
模型名称。
Application Area
应用领域，例如Image Classification、Object Detection。
Update Time
更新时间。
Precision
模型精度，例如FP16、INT8。
Model Type
模型类型，例如Offline Model。
Framework
框架，例如PyTorch、TensorFlow。
Processor Type
处理器类型，例如Atlas 200/300/500 推理产品。
Version
模型版本信息。
Download Link
下载链接，可以复制对应的链接粘贴到浏览器上打开，获取相应的模型文件。
Model Format
模型格式，例如om、onnx。
- 算子速查，在“Operator Search by Name”输入需要查询的算子类型名称或硬件型号筛选需要查询的算子。选中单个算子类型时，在右侧查看算子具体信息。
图5 算子具体信息
- 算子类型（Operator Type）
- 算子支持的硬件型号（Hardware Type）
- 进入AMIT工具流程界面，单击“Model Converter”进入模型转换参数配置界面，工具使用方式请参考模型转换。转换后的OM离线模型可用于离线模型dump和性能分析任务。
- 进入AMIT工具流程界面，单击“Om Dump Configure”进入离线模型dump选择模型界面，工具使用方式请参考准备离线模型dump数据。获取的离线模型dump数据可用于精度比对任务。
- 进入AMIT工具流程界面，单击“Model Accuracy Analyse”进入精度比对参数配置界面，工具使用方式请参考精度比对。
- 进入AMIT工具流程界面，单击“System Profiler”进入性能分析参数配置界面，工具使用方式请参考性能分析。
