--- title: QAT模型适配CANN模型 description: "如果用户使用TensorFlow框架的原始模型已经做了量化功能（以下简称QAT模型），但是该模型无法使用ATC工具转成适配AI处理器的离线模型，需要借助本节提供的功能，将该QAT模型适配成CANN量化模型格式。然后才能使用ATC工具，将CANN量化模型转成适配AI处理器的离线模型。" url: https://www.hiascend.com/document/detail/zh/canncommercial/latest/devaids/amct/atlasamct_16_0199.html sourcePath: /source/zh/canncommercial/900/devaids/amct/atlasamct_16_0199.html indexId: 32e9a6e7416fb355395e7587337bd03fc808a295122ecca1cdb1cfa484cfa26465 --- # QAT模型适配CANN模型 如果用户使用TensorFlow框架的原始模型已经做了量化功能（以下简称QAT模型），但是该模型无法使用ATC工具转成适配AI处理器的离线模型，需要借助本节提供的功能，将该QAT模型适配成CANN量化模型格式。然后才能使用ATC工具，将CANN量化模型转成适配AI处理器的离线模型。 转换约束如下： - 当前仅支持对QAT模型中包含FakeQuantWithMinMaxVars、FakeQuantWithMinMaxVarsPerChannel（仅权重支持）两类FakeQuant层结构的模型进行适配。 - 当前仅支持Conv2D、MatMul、DepthwiseConv2dNative、Conv2dBackpropInput、AvgPool类型层匹配fake_quant节点并进行适配，层约束请参见 量化流程 。 #### 适配原理 适配原理如下图所示，蓝色部分为用户实现，灰色部分为用户调用AMCT提供的convert_qat_model接口实现，用户在TensorFlow QAT网络推理的代码中导入库，并在特定的位置调用相应API，即可实现适配功能。QAT模型当前不支持自动量化功能。详细适配样例请参见样例列表，您也可以获取命令行方式的示例，快速体验其功能。 图1 QAT模型适配CANN模型 #### 调用示例 本示例演示了如何将TensorFlow的QAT量化模型通过AMCT适配为CANN量化模型格式。 - 如下示例标有“由用户补充处理”的步骤，需要用户根据自己的模型和数据集进行补充处理，示例中仅为示例代码。 - 如下示例调用AMCT的部分，函数入参请根据实际情况进行调整。 1. 导入AMCT包，设置日志级别。 1 2 import amct_tensorflow as amct amct.set_logging_level(print_level='info', save_level='info') 2. （可选，由用户补充处理）建议使用原始待量化的模型和测试集，在TensorFlow环境下推理，验证环境、推理脚本是否正常。 推荐执行该步骤，以确保原始模型可以完成推理且精度正常；执行该步骤时，可以使用部分测试集，减少运行时间。 1 user_do_inference(ori_qat_model, test_data) 3. 调用AMCT中的convert_qat_model接口，执行模型适配。 该接口内部会将pb格式的模型解析为graph形式，完成图的预处理操作>修改解析后的图结构，插入AscendQuant、AscendDequant等算子，保存为量化模型。 1 2 3 4 5 6 quant_model_path = './results/user_model' record_file = './results/record.txt' amct.convert_qat_model(pb_model=ori_qat_model, outputs=ori_qat_model_outputs, save_path=quant_model_path, record_file=record_file) 4. （可选，由用户补充处理）使用量化后模型user_model_quantized.pb和测试集，在TensorFlow的环境下推理，测试量化后的仿真模型精度。 使用量化后仿真模型精度与2中的原始精度做对比，可以观察量化对精度的影响。 1 2 quant_model = './results/user_model_quantized.pb' user_do_inference(quant_model, test_data)