---
title: GPTQ
description: "GPTQ（Generative Pre-trained Transformer Quantization）是一种针对大模型的仅权重训练后量化（PTQ）方法，核心思路是逐层贪心量化，通过数学优化最小化量化误差。针对每个量化算子，根据激活值计算海森矩阵，分块将权重进行微调，最小化量化误差，最终输出调整后的权重以及量化因子。"
url: https://www.hiascend.com/document/detail/zh/canncommercial/latest/devaids/amct/atlasamct_16_0435.html
sourcePath: /source/zh/canncommercial/900/devaids/amct/atlasamct_16_0435.html
indexId: 115ebcead24ba3e7e1f5c392a5143dc2a428293b55f60846fd8614885d39162265
---
# GPTQ

GPTQ（Generative Pre-trained Transformer Quantization）是一种针对大模型的仅权重训练后量化（PTQ）方法，核心思路是逐层贪心量化，通过数学优化最小化量化误差。针对每个量化算子，根据激活值计算海森矩阵，分块将权重进行微调，最小化量化误差，最终输出调整后的权重以及量化因子。

算法详细介绍请参见Link(https://arxiv.org/abs/2210.17323)。