使用mindie,部署qwen3-32B后,可正常访问,但是测试时发现,当并发数达到300时,部分请求会报错。
200并发无报错,300并发时,并发请求报错。
mindie版本:mindie:2.0.RC2-800I-A2-py311-openeuler24.03-lts
部分请求报错:('Connection aborted.', ConnectionResetError(104, 'Connection reset by peer'))
请问,是否请求有什么并发限制,或者需要调整什么参数可以避免报错?
使用mindie,部署qwen3-32B后,可正常访问,但是测试时发现,当并发数达到300时,部分请求会报错。
200并发无报错,300并发时,并发请求报错。
mindie版本:mindie:2.0.RC2-800I-A2-py311-openeuler24.03-lts
部分请求报错:('Connection aborted.', ConnectionResetError(104, 'Connection reset by peer'))
请问,是否请求有什么并发限制,或者需要调整什么参数可以避免报错?