简介

组合压缩是针对同一个网络模型，既进行量化又进行稀疏的操作，具体支持什么样的组合压缩方式，本章节给出详细介绍。

组合压缩方式

目前组合压缩支持如下组合方式，使用AMCT进行压缩时，每层可压缩算子每次只能选择其中一种组合压缩方式，简要流程如图1所示。

通道稀疏+量化感知训练 INT8量化
4选2结构化稀疏+量化感知训练 INT8量化

当前组合压缩特性的压缩配置由用户手动处理（故又称之为静态组合压缩，压缩配置文件配置方法请参见量化感知训练简易配置文件），通过手动设置全局量化数据类型和稀疏率（通道稀疏比例）或更新4选2稀疏的间隔，实现模型自动压缩。组合压缩示例请参见样例列表。

支持组合压缩的层以及约束请分别参见通道稀疏下的表1、4选2结构化稀疏下的表1或量化感知训练下的表1。

图1 组合压缩简要流程
点击放大

组合压缩场景介绍

当前组合压缩支持如下几种场景，实际使用时，可以通过简易配置文件中的参数进行控制。如下场景中的整网量化指量化感知训练，其中：

整网量化：
- 整网（全局）量化配置参数：retrain_data_quant_config/retrain_weight_quant_config
- 部分层差异化配置参数：override_layer_configs或override_layer_types
参数优先级：override_layer_configs>override_layer_types>retrain_data_quant_config/retrain_weight_quant_config
整网稀疏：包括通道稀疏和4选2结构化稀疏，使用时二选一。
- 整网（全局）稀疏配置参数：prune_config
- 部分层差异化稀疏参数：override_layer_configs或override_layer_types
参数优先级：override_layer_configs>override_layer_types>prune_config

关于上述参数的详细解释请参见量化感知训练简易配置文件。

表1 组合压缩场景介绍
组合压缩场景	配置参数	说明
整网量化+整网稀疏	量化参数：retrain_data_quant_config/retrain_weight_quant_config 稀疏参数：prune_config 不配置override_layer_configs或override_layer_types	-
部分层差异化量化+整网稀疏	量化参数：retrain_data_quant_config/retrain_weight_quant_config+override_layer_configs或override_layer_types 稀疏参数：prune_config	配置特性参数时，首先要指定全局配置，否则该特性不生效。
整网量化+部分层差异化稀疏	量化参数：retrain_data_quant_config/retrain_weight_quant_config 稀疏参数：prune_config+override_layer_configs或override_layer_types	配置特性参数时，首先要指定全局配置，否则该特性不生效。
部分层量化+部分层差异化稀疏	量化参数：retrain_data_quant_config/retrain_weight_quant_config+override_layer_configs或override_layer_types 稀疏参数：prune_config+override_layer_configs或override_layer_types	配置特性参数时，首先要指定全局配置，否则该特性不生效。
整网量化	retrain_data_quant_config/retrain_weight_quant_config 不配置override_layer_configs或override_layer_types	-
部分层差异化量化	retrain_data_quant_config/retrain_weight_quant_config+override_layer_configs或override_layer_types	配置特性参数时，首先要指定全局配置，否则该特性不生效。
整网稀疏	prune_config 不配置override_layer_configs或override_layer_types	-
部分层差异化稀疏	prune_config+override_layer_configs或override_layer_types	配置特性参数时，首先要指定全局配置，否则该特性不生效。

父主题： 组合压缩