问题现象描述

使用MindIE Benchmark或者脚本对MindIE Server发送请求时，部分请求出现超时且无返回的情况。

放大

原因分析

发送请求速率超过服务化所能处理请求的能力，请求积压导致返回超时。

解决措施

• 使用MindIE Benchmark对MindIE Server发送请求时

  降低并发数，即降低MindIE Benchmark输入参数--Concurrency的值，其理论值为：npuBlockNum*cacheBlockSize/(平均输入长度+平均输出长度)。

• 使用脚本对MindIE Server发送请求时

  可提升脚本中设置超时的时间限制。