quantize_model

产品支持情况

产品	是否支持
Atlas A3 训练系列产品/Atlas A3 推理系列产品	x
Atlas A2 训练系列产品/Atlas 800I A2 推理产品/A200I A2 Box 异构组件	x
Atlas 200I/500 A2 推理产品	√
Atlas 推理系列产品	√
Atlas 训练系列产品	√

功能说明

训练后量化接口，根据用户设置的量化配置文件对图结构进行量化处理，该函数在config_file指定的层插入权重量化层，完成权重量化，并插入数据量化层，将修改后的网络存为新的模型文件。

函数原型

quantize_model(graph, modified_model_file, modified_weights_file)

参数说明

参数名	输入/输出	使用限制
graph	输入	含义：用户模型经过init接口解析出来的图结构。数据类型：工具自定义的数据结构Graph
modified_model_file	输入	含义：文件名，用于存储插入量化层的Caffe模型定义文件（格式为.prototxt）。数据类型：string
modified_weights_file	输入	含义：文件名，用于存储插入量化层的Caffe模型权重文件（格式为.caffemodel）。数据类型：string

参数名

输入/输出

使用限制

graph

输入

含义：用户模型经过init接口解析出来的图结构。

数据类型：工具自定义的数据结构Graph

modified_model_file

输入

含义：文件名，用于存储插入量化层的Caffe模型定义文件（格式为.prototxt）。

数据类型：string

modified_weights_file

输入

含义：文件名，用于存储插入量化层的Caffe模型权重文件（格式为.caffemodel）。

数据类型：string

返回值说明

无

调用示例

from amct_caffe import quantize_model
# 插入量化API
quantize_model(graph=graph,
               modified_model_file="./quantized_model/modified_model.prototxt",
               modified_weights_file="./quantized_model/modified_model.caffemodel")

落盘文件说明：

量化因子：在init接口中的scale_offset_record_file中写入量化层的权重量化因子（scale_w，offset_w）。
modified_model_file：修改后模型的定义文件，在原始模型上插入了量化层。

modified_weights_file：修改后模型的权重文件，在原始模型上插入了量化层。

重新执行量化时，该接口输出的文件将会被覆盖。

父主题： 训练后量化接口