产品支持情况

产品	是否支持
Atlas A2 训练系列产品/Atlas 800I A2 推理产品/A200I A2 Box 异构组件	x
Atlas 200I/500 A2 推理产品	x
Atlas 推理系列产品	x
Atlas 训练系列产品	x

注：标记“x”的产品，调用接口不会报错，但是获取不到性能收益。

功能说明

训练后量化接口，根据用户输入的模型、配置文件进行自动非均匀量化，搜索得到一个满足目标精度的非均匀量化配置，输出可以在Caffe环境下做精度仿真的fake_quant模型，和可在昇腾AI处理器上做在线推理的deploy模型。

函数原型

auto_nuq(model_file,  weights_file, nuq_evaluator, config_file, scale_offset_record_file, save_dir)

参数说明

参数名	输入/输出	说明
model_file	输入	含义：用户Caffe模型的定义文件，格式为.prototxt。数据类型：string
weights_file	输入	含义：用户训练好的Caffe模型权重文件，格式为.caffemodel。数据类型：string
nuq_evaluator	输入	含义：自动非均匀量化评估的python实例。数据类型：python instance
config_file	输入	含义：用户生成的量化配置文件。数据类型：string
scale_offset_record_file	输入	含义：存储量化因子的文件，如果该文件存在，会被重写。数据类型：string
save_dir	输入	含义：模型存放路径。该路径需要包含模型名前缀，例如./quantized_model/*model。数据类型：string

返回值说明

无

调用示例

import amct_caffe as amct    
from amct_caffe.auto_nuq import AutoNuqEvaluatorBase

class AutoNuqEvaluator(AutoNuqEvaluatorBase):
    def __init__(self, evaluate_batch_num):
        self.evaluate_batch_num = evaluate_batch_num
    def eval_model(self, model_file, weights_file, batch_num):
        return do_benchmark_test(args, model_file, weights_file, batch_num)
    def is_satisfied(self, original_metric, new_metric):
        # the loss of top1 acc need to be less than 1%
        if (original_metric - new_metric) *100<1:
            return True
        return False

evaluator = AutoNuqEvaluator(1000)
amct.auto_nuq(
        model_file,
        weights_file,
        evaluator,
        config_json_file,
        scale_offset_record_file,
        './results/Resnet50')

落盘文件说明：

精度仿真模型文件：一个模型定义文件，一个模型权重文件，文件名中包含fake_quant；模型可在Caffe环境下做推理实现量化精度仿真。
部署模型文件：一个模型定义文件，一个模型权重文件，文件名中包含deploy；模型经过ATC工具转换后可部署到昇腾AI处理器上。
量化因子记录文件：在接口中的scale_offset_record_file中写入量化层的权重量化因子（scale_w，offset_w）。
非均匀量化信息记录文件：该文件记录了哪些层做了非均匀量化。
量化信息文件：该文件记录了AMCT插入的量化算子位置以及算子融合信息，用于量化后的模型进行精度比对使用。

重新执行量化时，该接口输出的上述文件将会被覆盖。