save_compressed_retrain_model

产品支持情况

产品

是否支持

Atlas A2 训练系列产品/Atlas 800I A2 推理产品/A200I A2 Box 异构组件

  • 量化感知训练:
    • INT8量化:√
    • INT4量化:x
  • 通道稀疏:√
  • 4选2结构化稀疏:√

Atlas 200I/500 A2 推理产品

  • 量化感知训练:
    • INT8量化:√
    • INT4量化:x
  • 通道稀疏:√
  • 4选2结构化稀疏:√

Atlas 推理系列产品

  • 量化感知训练:
    • INT8量化:√
    • INT4量化:√
  • 通道稀疏:√
  • 4选2结构化稀疏:x

Atlas 训练系列产品

  • 量化感知训练:
    • INT8量化:√
    • INT4量化:x
  • 通道稀疏:√
  • 4选2结构化稀疏:x

注:特性中标记“x”的产品,调用接口不会报错,但是获取不到性能收益。

功能说明

静态组合压缩接口,根据用户最终重训练好的模型,生成最终静态组合压缩模型。

函数原型

1
save_compressed_retrain_model(pb_model, outputs, record_file, save_path)

参数说明

参数名

输入/输出

说明

pb_model

输入

含义:带稀疏与量化算子的推理模式pb模型。

数据类型:string

outputs

输入

含义:graph中输出算子的列表。

数据类型:list,列表中元素类型为string

record_file

输入

含义:稀疏和量化因子记录文件路径及名称。

数据类型:string

save_path

输入

含义:保存压缩模型的路径。

该路径需要包含模型名前缀,例如./compressed_model/*model

数据类型:string

返回值说明

调用示例

1
2
import amct_tensorflow as amct
amct.save_compressed_retrain_model(masked_pb_path, [operation_name_1, operation_name_2], './tmp/record.txt', './pb_model/final_model')

落盘文件:压缩后的模型,该模型既可以在TensorFlow环境进行精度仿真又可以在昇腾AI处理器做推理。