问题现象描述

从开放态部署切换到标准态部署后，在Index的底库、batch较小场景下，检索性能出现下降情况。

解决措施

Index在batch越大时，AI Core的使用率越高，性能也会有所提升。

建议在使用检索功能过程中，尝试使用最优batch获取最佳性能，可通过组batch的方式（参考开源的triton推理服务），通过提高batch的方式进行性能提升。