整体约束和接口列表

整体约束

接口列表

分类

接口名称

功能描述

公共接口

set_logging_level

设置信息输出的级别,其中信息包括打印在屏幕上的信息以及保存到amct_log/amct_tensorflow.log文件中的信息。

GraphEvaluator

针对某一个模型,根据模型的bin类型输入数据,提供一个python实例,可对该模型执行校准和推理的评估器。

训练后量化接口

create_quant_config

训练后量化接口,根据图的结构找到所有可量化的层,自动生成量化配置文件,并将可量化层的量化配置信息写入文件。

quantize_model

训练后量化接口,将输入的待量化的图结构按照给定的量化配置文件进行量化处理,在传入的图结构中插入量化相关的算子,生成量化因子记录文件record_file,并返回量化处理新增的算子列表。

save_model

训练后量化接口,根据量化因子记录文件record_file和用户待量化的原始pb模型,插入AscendQuant、AscendDequant等算子,然后保存为既可以在TensorFlow环境进行精度仿真又可以在昇腾AI处理器做离线推理的pb模型文件。

accuracy_based_auto_calibration

根据用户输入的模型、配置文件进行自动的校准过程,搜索得到一个满足目标精度的量化配置,输出既可以在TensorFlow环境下做精度仿真的fake_quant模型又可在昇腾AI处理器上做推理的deploy模型。

quantize_preprocess

量化数据均衡预处理接口,将输入的待量化的图结构按照给定的量化配置文件进行量化预处理(当前仅支持均衡量化),在传入的图结构中插入均衡量化相关的算子,生成均衡因子记录文件record_file,供后续quantize_model阶段读取。

量化感知训练接口

create_quant_retrain_config

量化感知训练接口,根据图的结构找到所有可量化的层,自动生成量化配置文件,并将可量化层的量化配置信息写入配置文件。

create_quant_retrain_model

量化感知训练接口,根据用户设置的量化配置文件对图结构进行量化处理,该函数在config_file指定的层插入数据和weights伪量化层,将修改后的网络存为新的模型文件。

save_quant_retrain_model

量化感知训练接口,根据用户最终的重训练好的模型,插入AscendQuant、AscendDequant等算子,生成最终既可以进行精度仿真又可以进行部署的模型。

自动混合精度搜索接口

auto_mixed_precision_search

根据原始模型和自动混合精度搜索简易配置文件,自动搜索模型的最优混合量化位宽配置,生成量化感知训练简易配置文件。

稀疏接口

create_prune_retrain_model

通道稀疏或4选2结构化稀疏接口,两种稀疏特性每次只能使能一个。

save_prune_retrain_model

通道稀疏或4选2结构化稀疏接口,两种稀疏特性每次只能使能一个。

自动通道稀疏搜索接口

auto_channel_prune_search

自动通道稀疏搜索接口,根据用户模型来计算各通道的稀疏敏感度(影响精度)以及稀疏收益(影响性能),然后搜索策略依据该输入来搜索最优的逐层通道稀疏率,以平衡精度和性能。最终输出一个配置文件。

组合压缩接口

create_compressed_retrain_model

静态组合压缩接口,根据用户设置的压缩配置文件对图结构先进行稀疏(通道稀疏或者4选2结构化稀疏,二选一),后插入量化相关的算子,并返回修改后的图。

save_compressed_retrain_model

静态组合压缩接口,根据用户最终重训练好的模型,生成最终静态组合压缩模型。

近似校准接口

create_approximation_calibrator

近似校准接口,在用户提供的图结构中插入dump数据算子,实现推理时导出校准数据的功能。

save_approximation_graph

近似校准接口,删除插入的dump算子,替换用户校准的tf.graph中目标算子(Softmax)为昇腾亲和的高性能实现(FastSoftmax),并保存为既可在TensorFlow环境中进行精度仿真又可以在昇腾AI处理器部署的pb模型。

张量分解接口

auto_decomposition

根据用户提供的TensorFlow模型文件,生成张量分解后的模型文件。

decompose_graph

分解训练代码中的图,用于对分解后的模型进行finetune(微调)。

模型适配接口

convert_model

根据用户自己计算得到的量化因子以及TensorFlow模型,适配成既可以在昇腾AI处理器上部署的模型又可以在TensorFlow环境下进行精度仿真的量化模型。

convert_qat_model

根据TensorFlow的QAT量化模型,适配成分别可以在CPU、GPU上进行精度仿真和昇腾AI处理器上部署的量化模型。