分类 |
接口名称 |
功能描述 |
---|---|---|
公共接口 |
设置信息输出的级别,其中信息包括打印在屏幕上的信息以及保存到amct_log/amct_tensorflow.log文件中的信息。 |
|
针对某一个模型,根据模型的bin类型输入数据,提供一个python实例,可对该模型执行校准和推理的评估器。 |
||
训练后量化接口 |
训练后量化接口,根据图的结构找到所有可量化的层,自动生成量化配置文件,并将可量化层的量化配置信息写入文件。 |
|
训练后量化接口,将输入的待量化的图结构按照给定的量化配置文件进行量化处理,在传入的图结构中插入量化相关的算子,生成量化因子记录文件record_file,并返回量化处理新增的算子列表。 |
||
训练后量化接口,根据量化因子记录文件record_file和用户待量化的原始pb模型,插入AscendQuant、AscendDequant等算子,然后保存为既可以在TensorFlow环境进行精度仿真又可以在昇腾AI处理器做离线推理的pb模型文件。 |
||
根据用户输入的模型、配置文件进行自动的校准过程,搜索得到一个满足目标精度的量化配置,输出既可以在TensorFlow环境下做精度仿真的fake_quant模型又可在昇腾AI处理器上做推理的deploy模型。 |
||
量化数据均衡预处理接口,将输入的待量化的图结构按照给定的量化配置文件进行量化预处理(当前仅支持均衡量化),在传入的图结构中插入均衡量化相关的算子,生成均衡因子记录文件record_file,供后续quantize_model阶段读取。 |
||
量化感知训练接口 |
量化感知训练接口,根据图的结构找到所有可量化的层,自动生成量化配置文件,并将可量化层的量化配置信息写入配置文件。 |
|
量化感知训练接口,根据用户设置的量化配置文件对图结构进行量化处理,该函数在config_file指定的层插入数据和weights伪量化层,将修改后的网络存为新的模型文件。 |
||
量化感知训练接口,根据用户最终的重训练好的模型,插入AscendQuant、AscendDequant等算子,生成最终既可以进行精度仿真又可以进行部署的模型。 |
||
自动混合精度搜索接口 |
根据原始模型和自动混合精度搜索简易配置文件,自动搜索模型的最优混合量化位宽配置,生成量化感知训练简易配置文件。 |
|
稀疏接口 |
通道稀疏或4选2结构化稀疏接口,两种稀疏特性每次只能使能一个。 |
|
通道稀疏或4选2结构化稀疏接口,两种稀疏特性每次只能使能一个。 |
||
自动通道稀疏搜索接口 |
自动通道稀疏搜索接口,根据用户模型来计算各通道的稀疏敏感度(影响精度)以及稀疏收益(影响性能),然后搜索策略依据该输入来搜索最优的逐层通道稀疏率,以平衡精度和性能。最终输出一个配置文件。 |
|
组合压缩接口 |
静态组合压缩接口,根据用户设置的压缩配置文件对图结构先进行稀疏(通道稀疏或者4选2结构化稀疏,二选一),后插入量化相关的算子,并返回修改后的图。 |
|
静态组合压缩接口,根据用户最终重训练好的模型,生成最终静态组合压缩模型。 |
||
近似校准接口 |
近似校准接口,在用户提供的图结构中插入dump数据算子,实现推理时导出校准数据的功能。 |
|
近似校准接口,删除插入的dump算子,替换用户校准的tf.graph中目标算子(Softmax)为昇腾亲和的高性能实现(FastSoftmax),并保存为既可在TensorFlow环境中进行精度仿真又可以在昇腾AI处理器部署的pb模型。 |
||
张量分解接口 |
根据用户提供的TensorFlow模型文件,生成张量分解后的模型文件。 |
|
分解训练代码中的图,用于对分解后的模型进行finetune(微调)。 |
||
模型适配接口 |
根据用户自己计算得到的量化因子以及TensorFlow模型,适配成既可以在昇腾AI处理器上部署的模型又可以在TensorFlow环境下进行精度仿真的量化模型。 |
|
根据TensorFlow的QAT量化模型,适配成分别可以在CPU、GPU上进行精度仿真和昇腾AI处理器上部署的量化模型。 |