产品
注册

开发步骤

模型分析和量化
分析模块提供模型支持度分析报告;量化模块提供常规模型和LLM大语言模型的PTQ量化,通过量化实现模型瘦身,有效降低存储开销,缓解访存带宽压力,利用INT8算力提升了推理性能,降低了模型部署成本。
ONNX 模型PTQ 量化
LLM 大模型PTQ 量化
模型转换
模型转换模块依托ATC、AOE、AIE推理引擎,提供由ONNX、TensorFlow、Caffe、MindSpore模型至om模型的转换及调优功能
模型转换统一入口
支持计算图解析、算子自动调优及子图自动调优
一站式调试
调试组件由模型改图和精度比对两大功能组成。模型改图使能ONNX在昇腾芯片上的优化,并提供功能丰富且强大的ONNX改图功能;精度比对功能提供TensorFlow与ONNX场景下的精度比对功能,自动化的特性极大地便捷了用户在大多数场景下的精度比对需求
精度溢出检测
ONNX模型改图
整网精度比对
推理精度调试
一站式调优
提供Profiling性能分析功能,用于分析运行在昇腾AI处理器上的APP工程各个运行阶段的关键性能瓶颈并提出针对性能优化的建议,最终实现产品的极致性能。提供快速benchmark,针对指定的推理模型运行推理程序,并能够测试推理模型的性能(包括吞吐率、时延)
逐层Profiling性能分析
动态Profiling
瓶颈识别&优化建议
推理应用并行优化
应用迁移分析
应用工程的迁移分析,分析三方库API,提供推荐建议,并评估迁移的工作量
支持C++和Python应用迁移分析
提供典型场景迁移样例
支持Windows环境的迁移分析和OpenCV的功能级模板匹配与迁移分析