--- title: 扩展更多特性（模型适配） description: "如果用户有自己计算得到的量化因子以及Caffe原始模型，该模型无法直接使用ATC工具转成适配AI处理器的离线模型，需要借助该章节提供的功能，将其转成CANN量化模型格式，然后才能使用ATC工具，将CANN量化模型转成适配AI处理器的离线模型。" url: https://www.hiascend.com/document/detail/zh/canncommercial/latest/devaids/amct/atlasamct_16_0264.html sourcePath: /source/zh/canncommercial/900/devaids/amct/atlasamct_16_0264.html indexId: 8f95f1ed0f802b2d75feaaab2b03952f3ad4b508b47fdec879e908880d3d8c4c65 --- # 扩展更多特性（模型适配） 如果用户有自己计算得到的量化因子以及Caffe原始模型，该模型无法直接使用ATC工具转成适配AI处理器的离线模型，需要借助该章节提供的功能，将其转成CANN量化模型格式，然后才能使用ATC工具，将CANN量化模型转成适配AI处理器的离线模型。 #### 适配原理 适配原理如下图所示，蓝色部分为用户实现，灰色部分为用户调用AMCT提供的convert_model实现，用户在Caffe原始网络推理的代码中导入库，并在特定的位置调用相应API，即可实现模型适配功能。该场景下的适配示例请参见样例列表>模型适配。 图1 模型适配原理 #### 调用示例 1. 如下示例标有“由用户补充处理”的步骤，需要用户根据自己的模型和数据集进行补充处理，示例中仅为示例代码。 2. 如果用户需要基于如下代码，对其他模型进行量化，需要准备原始未量化的模型，将用户自己准备的量化因子转换为量化因子记录文件。 1. 导入AMCT包，并通过环境变量设置日志级别。 1 import amct_caffe as amct 2. 设置设备运行模式。 AMCT支持CPU或GPU运行模式，若选择GPU模式，需要先设置Caffe的GPU运行设备模式，再设置AMCT的设备模式；另外因为此处已经指定了运行设备，模型推理函数中无需再次配置运行设备： 1 2 3 4 5 6 if 'gpu': caffe.set_mod_gpu() caffe.set_device(gpu_id) amct.set_gpu_mode() else: caffe.set_mode_cpu() 3. （可选，由用户补充处理）使用原始待量化的模型和测试集，在Caffe环境下推理，验证环境、推理脚本是否正常。 推荐执行该步骤，请确保原始模型可以完成推理且精度正常；执行该步骤时，可以使用部分测试集，减少运行时间。 1 user_test_model(ori_model_file, ori_weights_file, test_data, test_iterations) 4. 调用convert_model接口，进行模型适配。 该接口内部会将原始模型解析为graph形式，完成图的预处理操作>解析用户传入的量化因子文件>然后根据量化因子和修改后的图结构，插入AscendQuant、AscendDequant等算子，保存为量化模型。 1 2 3 4 5 6 quant_model_path = './result/user_model' record_file = './result/record.txt' amct.convert_model(model_file=ori_model_file, weights_file=ori_weights_file, scale_offset_record_file=record_file, save_path=quant_model_path) 5. （可选，由用户补充处理）使用量化后模型fake_quant_model、fake_quant_weights和测试集，在Caffe环境下推理，测试量化后的仿真模型精度。 使用量化后仿真模型精度与3中的原始精度做对比，可以观察量化对精度的影响。 1 2 3 fake_quant_model = './result/user_model_fake_quant_model.prototxt' fake_quant_weights = './result/user_model_fake_quant_weights.caffemodel' user_test_model(fake_quant_model, fake_quant_weights, test_data, test_iterations)