产品支持情况

产品	是否支持
Atlas A3 训练系列产品/Atlas A3 推理系列产品	量化感知训练： INT8量化：√ 通道稀疏：√ 4选2结构化稀疏：√
Atlas A2 训练系列产品/Atlas 800I A2 推理产品/A200I A2 Box 异构组件	量化感知训练： INT8量化：√ 通道稀疏：√ 4选2结构化稀疏：√
Atlas 200I/500 A2 推理产品	量化感知训练： INT8量化：√ 通道稀疏：√ 4选2结构化稀疏：√
Atlas 推理系列产品	量化感知训练： INT8量化：√ 通道稀疏：√ 4选2结构化稀疏：x
Atlas 训练系列产品	量化感知训练： INT8量化：√ 通道稀疏：√ 4选2结构化稀疏：x

注：特性中标记“x”的产品，调用接口不会报错，但是获取不到性能收益。

功能说明

静态组合压缩训练接口，将输入的待静态组合压缩的模型按照给定的组合压缩配置文件和record记录文件进行压缩处理（先稀疏后量化），加载保存的权重。将传入的模型按照给定record_file中稀疏记录进行稀疏，后对模型插入量化相关的算子（数据和权重的量化感知训练层以及searchN的层）。加载训练过程中保存的checkpoint权重参数，返回修改后的torch.nn.Module模型。

函数原型

compressed_retrain_model = restore_compressed_retrain_model(model, input_data, config_defination, record_file, pth_file, state_dict_name=None)

参数说明

参数名	输入/输出	说明
model	输入	含义：Torch的model。数据类型：torch.nn.Module
input_data	输入	含义：模型的输入数据。一个torch.tensor会被等价为tuple(torch.tensor)。数据类型：tuple
config_defination	输入	含义：静态组合压缩简易配置文件。基于retrain_config_pytorch.proto文件生成的简易配置文件compressed.cfg，.proto文件所在路径为：AMCT安装目录/amct_pytorch/proto/。.proto文件参数解释以及生成的compressed.cfg简易量化配置文件样例请参见量化感知训练简易配置文件。数据类型：string
record_file	输入	含义：已经记录稀疏和量化因子的文件。数据类型：string
pth_file	输入	含义：训练过程中保存的权重文件。数据类型：string
state_dict_name	输入	含义：权重文件中权重对应的键值。默认值：None 数据类型：string

返回值说明

根据record_file中稀疏关系进行稀疏后的，且插入量化相关层的，已加载权重文件的torch.nn.Module静态组合压缩训练模型。

约束说明

组合压缩配置文件至少存在一个配置：稀疏配置或者量化配置。

调用示例

import amct_pytorch as amct
# 建立待进行组合压缩的网络图结构
model = build_model()
input_data = tuple(torch.randn(input_shape))
save_pth_path = /your/path/to/save/tmp.pth

record_file = os.path.join(TMP, 'compressed_record.txt')
config_defination = './compressed_cfg.cfg'

torch.save({'state_dict': model.state_dict()}, save_pth_path)
compressed_retrain_model = amct.restore_compressed_retrain_model(
                                model,
                                input_data,
                                config_defination,
                                record_file,
                                save_pth_path,
                                'state_dict')