本章节详细给出量化压缩特性中训练后量化的模板代码解析说明,通过解读该代码,用户可以详细了解AMCT的工作流程以及原理,方便用户基于已有模板代码进行修改,以便适配其他网络模型的量化。关于量化特性的分类请参见简介。
用户可以参见ResNet50获取本章节的sample示例代码。训练后量化主要包括如下几个步骤:
如下流程详细演示如何编写脚本调用AMCTAPI进行模型量化。
import amct_mindspore as amct amct.set_logging_level(print_level='info', save_level='info')
ori_network = user_create_network()
param_dict = load_checkpoint(user_network_checkpoint) load_param_into_net(ori_network, param_dict)
ori_network.set_train(False)
建议使用原始待量化的模型和测试集,在MindSpore环境下推理,验证环境、推理脚本是否正常。
推荐执行该步骤,请确保原始模型可以完成推理且精度正常;执行该步骤时,可以使用部分测试集,减少运行时间。
user_do_inference(ori_network, test_data, test_iterations)
config_file = './tmp/config.json' skip_layers = [] fake_input_data = np.random.uniform(0.0, 1.0, size=ori_network_input_shape).astype(np.float32) amct.create_quant_config(config_file=config_file, network=ori_network, input_data=fake_input_data, skip_layers=skip_layers)
record_file = './tmp/record.txt' calibration_network = amct.quantize_model(config_file=config_file, network=ori_network, input_data=fake_input_data)
该步骤执行时,需要注意:校准集及其预处理过程数据要与模型匹配,以保证量化的精度。
user_do_inference(calibration_network, calibration_data)
quant_network_path = './results/user_network' amct.save_model(file_name=quant_network_path, network=calibration_network, input_data=fake_input_data)