整体思路
MindIE推理性能可以从纯模型和服务化两个角度进行优化。
首先确认当前纯模型的性能是否有调优空间:
- 版本基线覆盖的场景,和版本基线的性能比较,检查配置。
- 版本基线未覆盖,或检查配置后仍存在问题的场景,先进行相同输入输出的纯模型测试。
- 如果纯模型测试结果未达到预期,进行纯模型性能调优;如果达到预期,则进行服务化性能调优。
- 服务化调优时性能瓶颈定位思路如图1所示。
父主题: MindIE推理性能解决方案
MindIE推理性能可以从纯模型和服务化两个角度进行优化。
首先确认当前纯模型的性能是否有调优空间: