问题现象描述

llama-13b部署TGI推理框架后，跑8个串行请求时返回结果正常，跑8个并行请求时返回结果异常。

原因分析

config文件中的model_type取值为xverse，开发时适配内容没写这种type。

解决措施

将config文件中的model_type取值改为llama。