save_compressed_retrain_model
功能说明
静态组合压缩接口，根据用户最终的重训练好的模型，生成最终静态组合压缩精度仿真模型以及部署模型。
约束说明
若模型只做了稀疏（没有做量化），则通过该接口生成的两个文件为直接使用PyTorch导出的onnx文件，文件内容一致，文件名称分别包括deploy和fake_quant关键字。
函数原型
save_compressed_retrain_model(model, record_file, save_path, input_data, input_names=None, output_names=None, dynamic_axes=None)
参数说明
参数名 |
输入/返回值 |
含义 |
使用限制 |
|---|---|---|---|
model |
输入 |
已经进行静态组合压缩后的PyTorch模型。 |
数据类型：torch.nn.Module |
record_file |
输入 |
稀疏和量化因子记录文件路径及名称。 |
数据类型：string |
save_path |
输入 |
保存压缩模型的路径。 |
数据类型：string |
input_data |
输入 |
模型的输入数据。一个torch.tensor会被等价为tuple（torch.tensor）。 |
数据类型：tuple |
input_names |
输入 |
模型的输入的名称，用于保存的量化onnx模型中显示。 |
默认值：None 数据类型：list(string) |
output_names |
输入 |
模型的输出的名称，用于保存的量化onnx模型中显示。 |
默认值：None 数据类型：list(string) |
dynamic_axes |
输入 |
对模型输入输出动态轴的指定，例如对于输入inputs（NCHW），N、H、W为不确定大小，输出outputs（NL），N为不确定大小，则指定形式为： { "inputs": [0,2,3], "outputs": [0]}，其中0,2,3分别表示N，H，W所在位置的索引。 |
默认值：None 数据类型：dict<string, dict<python:int, string>> or dict<string, list(int)> |
返回值说明
无。
函数输出
- 精度仿真模型文件：模型名中包含fake_quant，该模型可以在ONNX Runtime环境中进行精度仿真。
- 部署模型文件：模型名中包含deploy，经过ATC工具转换后可部署在昇腾AI处理器。
重新执行静态组合压缩时，该接口输出的上述文件将会被覆盖。
调用示例
import amct_pytorch as amct
# 建立待压缩的网络图结构
model = build_model()
# create compressed model
#训练retrain模型，训练量化因子
train(compressed_retrain_model)
infer(compressed_retrain_model)
input_data = tuple([torch.randn(input_shape)]
save_path = os.path.join(OUTPUTS_DIR, 'custom_name')
record_file = os.path.join(TMP, 'compressed_record.txt')
#插入保存组合压缩模型的API，转换成ONNX文件
amct.save_compressed_retrain_model(
compressed_retrain_model,
record_file,
save_path,
input_data,
input_names=['input'],
output_names=['output'],
dynamic_axes={'input':{0:'batch_size'}, 'output':{0:'batch_size'}})