校准流程

近似校准是通过用户手动校准+近似替换的方式，将原始模型中的部分算子替换为昇腾亲和的高性能算子，从而在精度无损的前提下提升部署模型在昇腾AI处理器上的运行性能，本节给出近似校准特性支持的层，接口调用流程和调用示例。

AMCT目前支持近似校准的层以及约束如下：

表1 近似校准支持的层以及约束

支持的层类型

约束

Softmax

无

接口调用流程

近似校准功能接口调用流程如图1所示。

图1 近似校准接口调用流程
蓝色部分为用户实现，灰色部分为用户调用AMCT提供的API实现，用户在TensorFlow原始网络推理的代码中导入库，并在特定的位置调用相应API，即可实现近似校准功能。工具运行流程如下：
  1. 用户首先构造TensorFlow的原始模型，然后调用create_approximation_calibrator接口生成校准模型（对应图1中的序号1，2）。
  2. 用户使用原始模型对应的校准数据集，在TensorFlow环境中对校准模型进行Inference，获得校准数据（对应图1中的序号3，4）。

    后续会根据获得的校准数据，计算近似算子校准参数，详情请参见近似校准算法。

  3. 最后用户可以调用save_approximation_graph接口保存近似校准后的模型，该模型既可在TensorFlow环境中进行精度仿真又可以在昇腾AI处理器部署。

调用示例

如下流程详细演示如何编写脚本调用AMCTAPI进行模型近似校准。

  • 如下示例标有“由用户补充处理”的步骤，需要用户根据自己的模型和数据集进行补充处理，示例中仅为示例代码。
  • 如下示例调用AMCT的部分，函数入参请根据实际情况进行调整。
  1. 导入AMCT包，设置日志级别。

    1
2
    		 
    import amct_tensorflow as amct
amct.set_logging_level(print_level='info', save_level='info')

  2. （可选，由用户补充处理）在TensorFlow原始环境中验证推理脚本及环境。

    建议使用原始待近似的模型和测试集，在TensorFlow环境下推理，验证环境、推理脚本是否正常。

    推荐执行该步骤，请确保原始模型可以完成推理且精度正常；执行该步骤时，可以使用部分测试集，减少运行时间。

    1
    		 
    user_do_inference(ori_model, test_data, test_iterations)

  3. （由用户补充处理）根据模型user_model.pb，准备好图结构tf.Graph。

    1
    		 
    ori_graph = user_load_graph()

  4. 调用AMCT，对模型近似校准。

    1. 修改图，在图中插入校准数据导出的dump算子。 
      1
2
      		 
      amct.create_approximation_calibrator(graph=ori_graph,
                    config_defination=None)
    2. （由用户补充处理）使用修改后的图在校准集上做模型推理，导出校准数据。

      该步骤执行时，需要注意如下三点：

      1. 校准集及其预处理过程数据要与模型匹配，以保证精度。
      2. 前向推理的次数为batch_num（默认为1，也可以通过配置文件指定batch_num项进行修改），如果次数不够，后续过程会失败。
      3. 导出的校准数据保存在当前工作目录下amct_log内的临时文件夹（以当前时间戳命名）内。
      1
      		 
      user_do_inference(ori_graph, calibration_data, batch_num)

      校准时提示“Invalid argument: You must feed a value for placeholder tensor **”，则请参见校准时提示“Invalid argument: You must feed a value for placeholder tensor **”进行处理。

    3. 保存模型。
      删除插入的dump算子，并将Softmax替换为FastSoftmax，将校准过后的模型图保存为近似校准的结果模型。 
      1
2
3
4
5
6
      		 
      result_model_path = './results/user_model'
model_outputs = ['user_model_outputs0', 'user_model_outputs1']
amct.save_approximation_graph(graph=ori_graph,
                outputs=model_outputs,
                save_path=result_model_path,
                config_defination=None)

      该步骤执行时，需要注意如下两点：

      1. config_defination选项的配置需与调用create_approximation_calibrator时一致。
      2. 由于近似校准特性会对模型中的原有算子进行替换，若输出节点被替换，可能导致后续用户模型推理失败。故若存在输出节点替换的情况，用户传入的outputs变量会按照替换节点进行更新。

  5. （可选，由用户补充处理）使用近似校准后模型user_model_approximation.pb和测试集，在TensorFlow环境下推理，测试近似校准后的仿真模型精度。

    使用近似校准后仿真模型精度与2中的原始精度做对比，可以观察近似校准对精度的影响。 
    1
2
    		 
    approx_model = './results/user_model_approximation.pb'
user_do_inference(approx_model, test_data, test_iterations)

父主题： 近似校准