quantize_model

功能说明

训练后量化接口，将输入的待量化的图结构按照给定的量化配置文件进行量化处理，在传入的图结构中插入量化相关的算子，生成量化因子记录文件record_file，并返回量化处理新增的算子列表。

函数原型

quant_add_ops = quantize_model(graph, config_file, record_file, calib_outputs=None)

参数说明

参数名	输入/返回值	含义	使用限制
graph	输入	用户传入的待量化模型的tf.Graph图。	数据类型：tf.Graph
config_file	输入	用户生成的量化配置文件，用于指定模型tf.Graph图中量化层的配置情况。	数据类型：string
record_file	输入	量化因子记录文件路径及名称。	数据类型：string
calib_outputs	输入	graph输出算子列表。当改图导致尾层输出节点变化，则输出列表也随之更新。	数据类型：list 默认值：None
quant_add_ops	返回值	量化插入的算子变量列表。说明：该列表中的变量值无法在模型训练参数文件中找到，故模型训练参数直接恢复会出现变量无法找到的错误，因此需要在模型训练参数恢复之前，将 quant_add_ops列表中的变量值从恢复列表中剔除，具体的剔除方法请参见插入量化算子后，如何恢复模型训练参数。	数据类型：list，列表中元素类型为tf.Variable

返回值说明

网络中量化的层名信息列表。

quantize_model对图做了融合，则网络的输出节点会发生变化。例如，Conv+BN（或Conv+BiasAdd+BN）融合后为Conv+BiasAdd，BN等价的输出节点为BiasAdd节点。

调用示例

import amct_tensorflow as amct
# 建立待量化的网络结构
network = build_network()

# 插入量化API
amct.quantize_model(
      graph=tf.get_default_graph(),
      config_file="./configs/config.json",
      record_file="./record_scale_offset.txt")

父主题： 训练后量化接口