---
title: Atlas 800I A2 vLLM-ascend Qwen3.5-27B gpqa-diamond数据集精度异常-官方技术文章-昇腾社区
description: 在大模型推理性能与精度验证过程中，复杂推理任务对生成长度的敏感性日益凸显。GPQA（Generalized Problem Solving Benchmark）作为衡量模型逻辑推理能力的重要基准，其多选题形式的输出结构通常依赖完整的推理链与最终答案的完整呈现。随着模型能力的提升，尤其是 Qwen3.5 系列模型在长推理链生成方面
keywords: Atlas,LLM,Qwen,数据集精度异,官方技术文章,昇腾社区,背景概述,问题现象
url: https://www.hiascend.com/developer/techArticles/20260603-1
section: (其他)
---

# Atlas 800I A2 vLLM-ascend Qwen3.5-27B gpqa-diamond数据集精度异常-官方技术文章-昇腾社区

URL: https://www.hiascend.com/developer/techArticles/20260603-1
描述: 在大模型推理性能与精度验证过程中，复杂推理任务对生成长度的敏感性日益凸显。GPQA（Generalized Problem Solving Benchmark）作为衡量模型逻辑推理能力的重要基准，其多选题形式的输出结构通常依赖完整的推理链与最终答案的完整呈现。随着模型能力的提升，尤其是 Qwen3.5 系列模型在长推理链生成方面
关键词: Atlas,LLM,Qwen,数据集精度异,官方技术文章,昇腾社区,背景概述,问题现象

官方技术文章 [了解详情](https://www.hiascend.com/zh/developer/techArticles)

Atlas 800I A2 vLLM-ascend Qwen3.5-27B gpqa-diamond数据集精度异常

Atlas 800I A2 vLLM-ascend Qwen3.5-27B gpqa-diamond数据集精度异常

vLLMQwen3.5

发表于: 2026/06/03

33

0

## 背景概述

在大模型推理性能与精度验证过程中，复杂推理任务对生成长度的敏感性日益凸显。GPQA（Generalized Problem Solving Benchmark）作为衡量模型逻辑推理能力的重要基准，其多选题形式的输出结构通常依赖完整的推理链与最终答案的完整呈现。随着模型能力的提升，尤其是 Qwen3.5 系列模型在长推理链生成方面表现更为显著，对推理服务中最大输出长度的配置提出了更高要求。本文基于实际测试中发现的精度异常问题，系统分析其成因并提出可复用的优化方案，为后续类似场景提供技术参考。

## 问题现象

在使用 vLLM-Ascend v0.17.0rc1 镜像部署 Qwen3.5-27B 模型进行 GPQA-Diamond 数据集测试时，发现模型精度显著低于官方发布结果。具体表现为：

1、官方发布精度：85.5%

2、实测精度：70.2%（配置最大输出长度为 8K）

3、测试环境：Atlas 800I A2，vLLM-Ascend v0.17.0rc1，vllm_api_general_chat 接口，gpqa_gen_0_shot_str 数据集接口

该精度差距在后续复现测试中被确认，且在调整关键参数后得以恢复，表明问题并非模型或框架本身缺陷，而是配置策略不当所致。

## 问题定位与分析

为精准定位问题根因，我们设计了五组对比测试，覆盖输出长度、接口类型、镜像版本及模型配置等多个维度：

| 测试用例 | 配置说明 | 精度结果 | 是否异常 |
| --- | --- | --- | ---|
| Case 1 | v0.17.0rc1 + 8K 输出长度 | 67.17% | 异常 |
| Case 2 | v0.17.0rc1 + 16K 输出长度 | 85.86% | 正常 |
| Case 3 | v0.17.0rc1 + 16K 输出长度（chat_prompt 接口） | 85.86% | 正常 |
| Case 4 | 0day 镜像 + 16K 输出长度（chat_prompt 接口） | 85.86% | 正常 |
| Case 5 | 0day 镜像 + 标准配置 + 16K 输出长度 | 85.86% | 正常 |

### 关键发现

Case 1 与 Case 2 的显著差异表明：最大输出长度配置不足是导致精度下降的直接原因。

进一步分析生成内容发现，多数样本的实际生成长度接近 8K（8192），已逼近配置上限。当生成内容超过该阈值时，系统强制截断，导致推理链末尾的最终答案无法完整输出。

GPQA 为多选题数据集，正确答案通常位于输出末尾。一旦截断发生，系统无法识别有效答案，判定为错误，从而造成准确率大幅下降。

## 问题根因

Qwen3.5 系列模型在处理复杂推理任务时，倾向于生成更长的中间推理过程与逻辑链条。相较于早期模型，其输出长度显著增加。若推理服务中未合理配置最大输出长度，极易发生内容截断，尤其在 GPQA 等答案位于末尾的多选题数据集上，截断将直接导致答案丢失，引发精度严重下降。

核心结论：精度异常并非模型或框架缺陷，而是推理配置未匹配模型实际输出需求所致。

## 解决措施与最佳实践

为确保高精度推理，特别是在处理复杂推理任务时，建议采取以下配置策略：

1. 提升最大输出长度

对于 GPQA、AIME 等长推理数据集，建议将 max_out_len 配置为 ≥16K，以确保完整输出推理链与最终答案。

2. 同步调整服务启动参数

确保 vLLM 服务启动时的 --max-model-len 参数与 max_out_len 配置匹配，避免因上下文总长度不足导致截断。例如：

```
   --max-model-len 16384
```

3. 根据数据集特性选择接口与配置

str 接口（纯文本生成）：适用于简单生成任务，但对长输出更敏感。

chat_prompt 接口（对话式 prompt）：更适合复杂推理任务，建议优先使用并配合长输出配置。

4. 测试前评估典型输出长度

在正式测试前，可通过少量样本预估模型平均输出长度，合理设定 max_out_len，避免“过短”或“过长”带来的资源浪费或精度损失。

## 建议与总结

1、GPQA 等多选题数据集对输出长度高度敏感，正确答案常位于输出末尾，截断将直接导致误判。

2、Qwen3.5 系列模型推理链显著变长，不可沿用旧模型的输出长度估算经验，需重新评估配置。

3、精度问题往往源于配置不当，而非模型或框架缺陷。在部署大模型时，应建立“配置-输出-精度”联动验证机制。

4、推荐在 AISBench 等测试框架中，将 max_out_len 与 --max-model-len 作为关键参数进行标准化配置，提升测试可复现性与结果可信度。

### 附录：关键术语说明

最大输出长度（max_out_len）：在 AISBench 模型 API 接口中配置的 max_out_len 参数，控制模型生成文本的最大长度。

上下文长度（max-model-len）：vLLM 服务启动时通过 --max-model-len 参数配置，决定输入与输出总长度上限。

str 数据集接口：AISBench 中用于 gpqa_gen_0_shot_str 的纯文本生成接口，适用于无结构化 prompt 的场景。

chat_prompt 数据集接口：AISBench 中用于 gpqa_gen_0_shot_cot_chat_prompt 的对话式 prompt 接口，支持 CoT（Chain-of-Thought）推理。

精度测试结果：在 AISBench 的 gen 模式下对 GPQA-Diamond 任务的测试结果，以 Accuracy（准确率）为核心评估指标。

点赞 0

本页内容

背景概述 [了解详情](https://www.hiascend.com/#id-1)

问题现象 [了解详情](https://www.hiascend.com/#id-2)

问题定位与分析 [了解详情](https://www.hiascend.com/#id-3)

问题根因 [了解详情](https://www.hiascend.com/#id-4)

解决措施与最佳实践 [了解详情](https://www.hiascend.com/#id-5)

建议与总结 [了解详情](https://www.hiascend.com/#id-6)