TGI并发请求返回结果异常
2024/02/21
297
问题信息
问题来源 | 产品大类 | 产品子类 | 关键字 |
---|---|---|---|
官方 | 模型推理 | 开发工具 | llama-13b、 TGI推理框架 |
问题现象描述
llama-13b部署TGI推理框架后,跑8个串行请求时返回结果正常,跑8个并行请求时返回结果异常。
图1 跑8个串行请求时返回结果正常

图2 跑8个并行请求时返回结果异常

原因分析
config文件中的model_type取值为xverse,开发时适配内容没写这种type。
解决措施
将config文件中的model_type取值改为llama。