大模型稀疏量化和权重压缩

百亿大模型（如LLaMa-13B）由于权重规模巨大，推理过程对昇腾AI处理器的的硬件存储和带宽要求很高。当前的大模型稀疏量化工具，通过减少模型体积、减少内存和带宽的消耗，从而提升模型的性能。

大模型稀疏量化工具包括稀疏、量化和压缩三个部分：

目前支持对包括但不限于表1中的大模型进行量化。
表1 已验证模型列表

模型名称

框架

ChatGLM2-6B

PyTorch

LLaMA2-7B

PyTorch

前提条件

功能实现流程

大模型压缩工具共分为稀疏、量化和权重压缩三大环节，用户需连续运行方可实现大模型压缩。

稀疏量化步骤（以ChatGLM2-6B为例）

  1. 用户自行准备模型、权重文件和校准数据，本样例以ChatGLM2-6B为例，点击获取链接自行下载权重文件，并上传至服务器文件夹内，如上传至“chatglm2”文件夹，目录示例如下： 

    ├── config.json
├── configuration chatglm.py
├── modeling_chatglm.py
├── pytorch_model-00001-of-00007.bin
├── pytorch_model-00002-of-00007.bin
├── pytorch_model-00003-of-00007.bin
├── pytorch_model-00004-of-00007.bin
├── pytorch_model-00005-of-00007.bin
├── pytorch_model-00006-of-00007.bin
├── pytorch_model-00007-of-00007.bin
├── pytorch_model.bin.index.json
├── quantization.py
├── README.md
├── tokenization_chatglm.py
├── tokenizer.model
├── tokenizer_config.json

    需注意，大模型量化工具建议在大模型下游任务评估流程打通的前提下使用，请自行调试源码后进行如下量化配置。

  2. ChatGLM2-6B模型进行量化前请执行如下命令安装所需依赖，若运行量化工具过程中提示缺失某个依赖，请根据提示安装。 

    pip3 install protobuf==4.24.1
pip3 install sentencepiece==0.1.99
pip3 install sympy==1.11.1

  3. 新建模型的稀疏量化脚本sparse_quant.py，编辑sparse_quant.py文件，导入如下样例代码，参考加粗字体信息提示，根据实际情况进行修改。 

    # 导入相关依赖
import torch
import torch.utils.data
from transformers import AutoTokenizer, AutoModel
# for local path
tokenizer = AutoTokenizer.from_pretrained(
    pretrained_model_name_or_path='./chatglm2',
    trust_remote_code=True,
    torch_dtype=torch.float32
)
model = AutoModel.from_pretrained(
    pretrained_model_name_or_path='./chatglm2', 
    torch_dtype=torch.float16, 
    trust_remote_code=True
).cpu()

# 准备校准数据，请根据实际情况修改
calib_list = ["中国的首都在哪里？",
              "请做一首诗歌：",
              "我想要学习python，该怎么学习？",
              "请帮我写一篇关于大模型推理优化的任职报告：",
              "中国最值得去的几个景点"]
#获取校准数据函数定义
def get_calib_dataset(tokenizer, calib_list):
    calib_dataset = []
    for calib_data in calib_list:
        inputs = tokenizer([calib_data], return_tensors='pt').to('cpu')
        print(inputs)
        calib_dataset.append([inputs.data['input_ids'], inputs.data['position_ids'], inputs.data['attention_mask']])
    return calib_dataset
dataset_calib = get_calib_dataset(tokenizer, calib_list)  #校准数据获取

# 稀疏量化配置，请根据实际情况修改
from modelslim.pytorch.llm_ptq.llm_ptq_tools import Calibrator, QuantConfig    # 导入稀疏量化配置接口
# 使用QuantConfig接口，配置稀疏量化参数，并返回配置实例
quant_config = QuantConfig(w_bit=4, disable_names=['transformer.encoder.layers.0.self_attention.query_key_value','transformer.encoder.layers.0.self_attention.dense', 'transformer.encoder.layers.0.mlp.dense_h_to_4h'], dev_type='cpu', act_method=3, pr=2.0, fraction=0.011, nonuniform=False, mm_tensor=False, co_sparse=True)

#使用Calibrator接口，输入加载的原模型、稀疏量化配置和校准数据，定义校准
calibrator = Calibrator(model, quant_config, calib_data=dataset_calib, disable_level='L1')
calibrator.run()     #使用run()执行量化
calibrator.save('./quant_weight')      #使用save()保存模型量化参数，请根据实际情况修改路径
print('Save quant weight success!')

    需注意，因为在存储量化参数过程中存在反序列化风险，所以已通过在存储过程中，将保存的量化结果文件夹权限设置为750，量化结果文件权限设置为400来消减风险。

  4. 启动模型稀疏量化任务，并在指定的输出目录获取模型量化参数，用于后续的推理部署任务。 

    python3 sparse_quant.py

压缩步骤（以ChatGLM2-6B为例）

  1. 编译压缩函数。

    1. 已参考前提条件，完成环境变量配置。
    2. 进入权重压缩工具所在路径。 
      cd ${INSTALL_DIR}/tools/modelslim/pytorch/weight_compression/compress_graph

      ${INSTALL_DIR}请替换为CANN软件安装后文件存储路径。例如，若安装的Ascend-cann-toolkit软件包，则安装后文件存储路径为：$HOME/Ascend/ascend-toolkit/latest。

    3. 执行编译命令。 
      bash build.sh $HOME/Ascend/ascend-toolkit/latest
    4. 编译结束后，在当前路径下生成build目录，执行如下命令查看编译结果compress_executor。 
      cd build

  2. 用户参考稀疏量化步骤对ChatGLM2-6B进行稀疏量化之后，在指定的输出目录“chatglm2”文件夹得到模型稀疏量化后的参数，目录示例如下： 

    ├── deq_scale.npy
├── input_offset.npy
├── input_scale.npy
├── quant_bias.npy
├── quant_weight.npy

    需注意，权重压缩工具仅需要对权重文件quant_weight.npy进行压缩操作。

  3. 新建压缩脚本compress.py，编辑compress.py文件，导入如下样例代码，并根据实际情况进行修改。 

    # 导入相关依赖
import sys
import os
import numpy as np
# 导入权重压缩接口
from modelslim.pytorch.weight_compression import CompressConfig, Compressor
def make_dir(path):
    if not os.path.exists(path):
        os.makedirs(path, mode=0o750)
    return path

# 准备待压缩权重文件和相关压缩配置，请根据实际情况进行修改
weight_path = "./chatglm2/quant_weight.npy"       # 待压缩权重文件的路径
save_path = "./compress"                          # 压缩后权重文件保存的路径
index_root = make_dir(os.path.join(save_path, 'index'))
weight_root = make_dir(os.path.join(save_path, 'weight'))
info_root = make_dir(os.path.join(save_path, 'info'))

# 使用CompressConfig接口，配置压缩参数，并返回配置实例
compress_config = CompressConfig(do_pseudo_sparse=False, sparse_ratio=1, is_debug=True, record_detail_root=save_path, multiprocess_num=8)

#使用Compressor接口，输入加载的压缩配置和待压缩权重文件
compressor = Compressor(compress_config, weight_path)
compress_weight, compress_index, compress_info = compressor.run()

#使用export()接口，保存压缩后的结果文件
compressor.export(compress_weight, weight_root)
compressor.export(compress_index, index_root)
compressor.export(compress_info, info_root, dtype=np.int64)

  4. 运行压缩脚本，并在指定的输出目录获取压缩后的权重文件，用于后续的推理部署任务。 

    python3 compress.py

父主题： 大模型压缩