TGI并发请求返回结果异常
2024/02/21
368
问题信息
| 问题来源 | 产品大类 | 产品子类 | 关键字 |
|---|---|---|---|
| 官方 | 模型推理 | 开发工具 | llama-13b、 TGI推理框架 |
问题现象描述
llama-13b部署TGI推理框架后，跑8个串行请求时返回结果正常，跑8个并行请求时返回结果异常。
图1 跑8个串行请求时返回结果正常
图2 跑8个并行请求时返回结果异常
原因分析
config文件中的model_type取值为xverse，开发时适配内容没写这种type。
解决措施
将config文件中的model_type取值改为llama。
