---
title: TGI并发请求返回结果异常-昇腾社区
description: llama-13b部署TGI推理框架后，跑8个串行请求时返回结果正常，跑8个并行请求时返回结果异常。
keywords: llama-13b, TGI推理框架
url: https://www.hiascend.com/document/caselibrary/detail/tgi_case_00001
section: (其他)
---

# TGI并发请求返回结果异常-昇腾社区

URL: https://www.hiascend.com/document/caselibrary/detail/tgi_case_00001
描述: llama-13b部署TGI推理框架后，跑8个串行请求时返回结果正常，跑8个并行请求时返回结果异常。
关键词: llama-13b, TGI推理框架

昇腾文档 [了解详情](https://www.hiascend.com/document)

故障案例 [了解详情](https://www.hiascend.com/document/caselibrary)

TGI并发请求返回结果异常

TGI并发请求返回结果异常

2024/02/21

797

问题信息

| 问题来源 | 产品大类 | 产品子类 | 关键字 |
| --- | --- | --- | ---|
| 官方 | 模型推理 | 开发工具 | llama-13b、 TGI推理框架 |

#### 问题现象描述

llama-13b部署TGI推理框架后，跑8个串行请求时返回结果正常，跑8个并行请求时返回结果异常。

图1跑8个串行请求时返回结果正常

图2跑8个并行请求时返回结果异常

#### 原因分析

config文件中的model_type取值为xverse，开发时适配内容没写这种type。

#### 解决措施

将config文件中的model_type取值改为llama。

本页内容

- 问题信息
- 问题现象描述
- 原因分析
- 解决措施