save_model

产品支持情况

功能说明

训练后量化接口，根据修改后的图结构，插入AscendQuant、AscendDequant等算子，将模型保存为可以做推理的文件，支持保存为可在Caffe环境下做精度仿真的fake_quant模型，和可在昇腾AI处理器上做推理的deploy模型。

函数原型

1

save_model(graph, save_type, save_path)

参数说明

返回值说明

无

约束说明

• 在网络推理的batch数目达到batch_num后，再调用save_model接口，否则量化因子不正确，量化结果不正确。

• 由于数据格式转换，生成的部署模型中存储的量化因子（scale/offset）与计算出来的量化因子，数值上不完全一致，但不影响精度。
• scale_offset_record_file中必须有所有量化层的量化因子，否则会报错，即quantize_model中的modified_model_file与modified_weights_file必须在Caffe环境中完成batch_num次推理。

调用示例

1
2
3
4
5
6
7
8
9

from amct_caffe import save_model

# 在Caffe环境中对修改后的模型做batch_num次推理，以完成量化
run_caffe_model(modified_model_file, modified_weights_file, batch_num)

# 插入API，将量化的模型存为prototxt模型文件以及caffemodel权重文件，在./quantized_model中生成五个文件：model_fake_quant_model.prototxt，model_fake_quant_weights.caffemodel,model_deploy_model.prototxt，model_deploy_weights.caffemodel，model_quant.json。
save_model(graph=graph,
           save_type="Both",
           save_path="./quantized_model/model")

落盘文件说明：

• 精度仿真模型文件：一个模型定义文件，一个模型权重文件，文件名中包含fake_quant；模型可在Caffe环境下做推理实现量化精度仿真。
• 部署模型文件：一个模型定义文件，一个模型权重文件，文件名中包含deploy；模型经过ATC工具转换后可部署到昇腾AI处理器上。
• 量化信息文件：该文件记录了AMCT插入的量化算子位置以及算子融合信息，用于量化后的模型进行精度比对使用。

重新执行量化时，该接口输出的上述文件将会被覆盖。