如果用户有自己计算得到的量化因子以及Caffe原始模型,该模型无法直接使用ATC工具转成适配昇腾AI处理器的离线模型,需要借助AMCT提供的convert_model接口,将该模型转成CANN量化模型格式,然后才能使用ATC工具,将CANN量化模型转成适配昇腾AI处理器的离线模型。该场景下的适配示例请参见获取更多样例>resnet50>执行convert_model接口量化示例。
适配原理如图1所示,蓝色部分为用户实现,灰色部分为用户调用AMCT提供的convert_model实现,用户在Caffe原始网络推理的代码中导入库,并在特定的位置调用相应API,即可实现模型适配功能。
import amct_caffe as amct
AMCT支持CPU或GPU运行模式,若选择GPU模式,需要先设置Caffe的GPU运行设备模式,再设置AMCT的设备模式;另外因为此处已经指定了运行设备,模型推理函数中无需再次配置运行设备:
if 'gpu': caffe.set_mod_gpu() caffe.set_device(gpu_id) amct.set_gpu_mode() else: caffe.set_mode_cpu()
推荐执行该步骤,请确保原始模型可以完成推理且精度正常;执行该步骤时,可以使用部分测试集,减少运行时间。
user_test_model(ori_model_file, ori_weights_file, test_data, test_iterations)
quant_model_path = './result/user_model' record_file = './result/record.txt' amct.convert_model(model_file=ori_model_file, weights_file=ori_weights_file, scale_offset_record_file=record_file, save_path=quant_model_path)
fake_quant_model = './result/user_model_fake_quant_model.prototxt' fake_quant_weights = './result/user_model_fake_quant_weights.caffemodel' user_test_model(fake_quant_model, fake_quant_weights, test_data, test_iterations)