---
title: QDQ格式模型推理过程中出现ONNXRuntimeError报错-昇腾社区
description: QDQ（Quantize and DeQuantize）格式模型，比如从TensorFlow转换或从PyTorch导出的量化感知训练（QAT）模型，在ONNX Runtime1.8.0及以上的CPU版本环境下推理，出现类似下图的ONNXRuntimeError报错。（QDQ格式模型具体介绍请参见Link）
keywords: ONNXRuntimeError
url: https://www.hiascend.com/document/caselibrary/detail/atlasamct_16_0361
section: (其他)
---

# QDQ格式模型推理过程中出现ONNXRuntimeError报错-昇腾社区

URL: https://www.hiascend.com/document/caselibrary/detail/atlasamct_16_0361
描述: QDQ（Quantize and DeQuantize）格式模型，比如从TensorFlow转换或从PyTorch导出的量化感知训练（QAT）模型，在ONNX Runtime1.8.0及以上的CPU版本环境下推理，出现类似下图的ONNXRuntimeError报错。（QDQ格式模型具体介绍请参见Link）
关键词: ONNXRuntimeError

昇腾文档 [了解详情](https://www.hiascend.com/document)

故障案例 [了解详情](https://www.hiascend.com/document/caselibrary)

QDQ格式模型推理过程中出现ONNXRuntimeError报错

QDQ格式模型推理过程中出现ONNXRuntimeError报错

2025/04/17

613

问题信息

| 问题来源 | 产品大类 | 产品子类 | 关键字 |
| --- | --- | --- | ---|
| 官方 | 应用开发 | CANN | ONNXRuntimeError |

#### 问题现象描述

QDQ（Quantize and DeQuantize）格式模型，比如从TensorFlow转换或从PyTorch导出的量化感知训练（QAT）模型，在ONNX Runtime1.8.0及以上的CPU版本环境下推理，出现类似下图的ONNXRuntimeError报错。（QDQ格式模型具体介绍请参见Link [了解详情](https://onnxruntime.ai/docs/performance/quantization.html)）

#### 原因分析

ONNX Runtime为了提高性能，提供了多种图优化方式，默认情况下，启用所有优化。在执行优化过程中，模型和ONNX Runtime版本间存在不兼容问题，导致上述报错。

#### 解决措施

调用InferenceSession函数执行推理时，配置入参SessionOptions的图优化级别属性值为ORT_DISABLE_ALL，禁用所有优化。

```
import onnxruntime as ort
import amct_onnx as amct

amct.AMCT_SO.graph_optimization_level = ort.GraphOptimizationLevel.ORT_DISABLE_ALL
ort_session = ort.InferenceSession('model.onnx', amct.AMCT_SO)
...
```

本页内容

- 问题信息
- 问题现象描述
- 原因分析
- 解决措施