昇腾社区重视您的隐私
我们在本网站上使用Cookie，包括第三方Cookie，以便网站正常运行和提升浏览体验。单击“全部接受”即表示您同意这些目的；单击“全部拒绝”即表示您拒绝非必要的Cookie；单击“管理Cookie”以选择接受或拒绝某些Cookie。需要了解更多信息或随时更改您的 Cookie 首选项，请参阅我们的《昇腾社区Cookie政策》。MindStudio 推理开发
开发步骤
模型分析和量化
分析模块提供模型支持度分析报告；量化模块提供常规模型和LLM大语言模型的PTQ量化，通过量化实现模型瘦身，有效降低存储开销，缓解访存带宽压力，利用INT8算力提升了推理性能，降低了模型部署成本。
ONNX 模型PTQ 量化
LLM 大模型PTQ 量化
相关链接
昇腾压缩加速工具
模型转换
模型转换模块依托ATC、AOE、AIE推理引擎，提供由ONNX、TensorFlow、Caffe、MindSpore模型至om模型的转换及调优功能
模型转换统一入口
支持计算图解析、算子自动调优及子图自动调优
相关链接
模型转换工具
一站式调试
调试组件由模型改图和精度比对两大功能组成。模型改图使能ONNX在昇腾芯片上的优化，并提供功能丰富且强大的ONNX改图功能；精度比对功能提供TensorFlow与ONNX场景下的精度比对功能，自动化的特性极大地便捷了用户在大多数场景下的精度比对需求
精度溢出检测
ONNX模型改图
整网精度比对
推理精度调试
相关链接
精度比对
模型改图
可视化改图
一站式调优
提供Profiling性能分析功能，用于分析运行在昇腾AI处理器上的APP工程各个运行阶段的关键性能瓶颈并提出针对性能优化的建议，最终实现产品的极致性能。提供快速benchmark，针对指定的推理模型运行推理程序，并能够测试推理模型的性能（包括吞吐率、时延）
逐层Profiling性能分析
动态Profiling
瓶颈识别&优化建议
推理应用并行优化
相关链接
性能调优
快速benchmark
应用迁移分析
应用工程的迁移分析，分析三方库API，提供推荐建议，并评估迁移的工作量
支持C++和Python应用迁移分析
提供典型场景迁移样例
支持Windows环境的迁移分析和OpenCV的功能级模板匹配与迁移分析
相关链接
应用迁移分析
获取开发支持与帮助