整体思路 MindIE推理性能可以从纯模型和服务化两个角度进行优化。 首先确认当前纯模型的性能是否有调优空间: 版本基线覆盖的场景,和版本基线的性能比较,检查配置。版本基线未覆盖,或检查配置后仍存在问题的场景,先进行相同输入输出的纯模型测试。如果纯模型测试结果未达到预期,进行纯模型性能调优;如果达到预期,则进行服务化性能调优。服务化调优时性能瓶颈定位思路如图1所示。 图1 服务化性能瓶颈定位流程图 父主题: MindIE推理性能解决方案