产品支持情况

产品	是否支持
Atlas A2 训练系列产品/Atlas 800I A2 推理产品/A200I A2 Box 异构组件	通道稀疏：√ 4选2结构化稀疏接口：√
Atlas 200I/500 A2 推理产品	通道稀疏：√ 4选2结构化稀疏接口：√
Atlas 推理系列产品	通道稀疏：√ 4选2结构化稀疏接口：x
Atlas 训练系列产品	通道稀疏：√ 4选2结构化稀疏接口：x

注：上述4选2结构化稀疏特性，标记“x”的产品，调用接口不会报错，但是获取不到性能收益。

功能说明

稀疏接口，根据用户最终的重训练好的稀疏模型，生成最终ONNX仿真模型以及部署模型。

约束说明

针对稀疏模型，通过该接口生成的两个文件为直接使用PyTorch导出的ONNX文件，文件内容一致，文件名称分别包括deploy和fake_quant关键字。

函数原型

save_prune_retrain_model(model, save_path, input_data, input_names=None, output_names=None, dynamic_axes=None)

参数说明

参数名	输入/输出	说明
model	输入	含义：已经进行稀疏后的PyTorch模型。数据类型：torch.nn.Module
save_path	输入	含义：保存压缩模型的路径。该路径需要包含模型名前缀，例如./prune_model/*model。数据类型：string
input_data	输入	含义：模型的输入数据。一个torch.tensor会被等价为tuple（torch.tensor）。数据类型：tuple
input_names	输入	含义：模型的输入名称，用于保存的稀疏ONNX模型中显示。默认值：None 数据类型：list(string)
output_names	输入	含义：模型的输出名称，用于保存的稀疏ONNX模型中显示。默认值：None 数据类型：list(string)
dynamic_axes	输入	含义：对模型输入输出动态轴的指定，例如对于输入inputs（NCHW），N、H、W为不确定大小，输出outputs（NL），N为不确定大小，则指定形式为： { "inputs": [0,2,3], "outputs": [0]}，其中0,2,3分别表示N，H，W所在位置的索引。默认值：None 数据类型：dict<string, dict<python:int, string>> or dict<string, list(int)>

返回值说明

无

调用示例

import amct_pytorch as amct
# 建立待压缩的网络图结构
model = build_model()

# create selective prune model

#训练retrain模型，训练量化因子
train(pruned_retrain_model)
infer(pruned_retrain_model)

input_data = tuple([torch.randn(input_shape)])
save_path = os.path.join(OUTPUTS_DIR, 'custom_name')

#插入保存组合压缩模型的API，转换成ONNX文件
amct.save_prune_retrain_model(
     pruned_retrain_model,
     save_path,
     input_data,
     input_names=['input'],
     output_names=['output'],
     dynamic_axes={'input':{0:'batch_size'}, 'output':{0:'batch_size'}})

落盘文件说明：

精度仿真模型文件：ONNX格式的模型文件，模型名中包含fake_quant，可以在ONNX Runtime环境进行精度仿真。
部署模型文件：ONNX格式的模型文件，模型名中包含deploy，经过ATC转换工具转换后可部署到在昇腾AI处理器。
（可选）external data文件，稀疏特性不区分*deploy.external和*fakequant.external文件：
只有保存的精度仿真模型以及部署模型文件大小>=2GB才会生成该类文件，且与压缩后的*.onnx文件生成在同级目录，用于保存Tensor中的数据，每个Tensor数据单独保存一个文件，文件名与Tensor相同，例如conv_1.weight。

后续通过ATC工具加载压缩后的*.onnx部署模型文件进行模型转换时，会自动读取同级目录下external data文件中的Tensor数据。

重新执行稀疏特性时，该接口输出的上述文件将会被覆盖。