昇腾社区首页
中文
注册

save_quant_retrain_model

产品支持情况

产品

是否支持

Atlas A2 训练系列产品/Atlas 800I A2 推理产品

  • INT8量化:√
  • INT4量化:x

Atlas 200I/500 A2 推理产品

  • INT8量化:√
  • INT4量化:x

Atlas 推理系列产品

  • INT8量化:√
  • INT4量化:√

Atlas 训练系列产品

  • INT8量化:√
  • INT4量化:x

注:上述INT4量化,标记“x”的产品,调用接口不会报错,但是获取不到性能收益。

功能说明

量化感知训练接口,根据用户最终的重训练好的模型,插入AscendQuant、AscendDequant等算子,生成最终既可以进行精度仿真又可以进行部署的模型。

函数原型

1
save_quant_retrain_model(pb_model, outputs, record_file, save_path)

参数说明

参数名

输入/输出

说明

pb_model

输入

含义:重训练后保存的pb模型。

数据类型:string

outputs

输入

含义:用户模型的输出。

数据类型:list,列表中元素类型为string,例如[output1,output2,...]。

record_file

输入

含义:存储量化因子的文件。通过该文件以及原始pb模型文件,生成量化后的模型文件。

数据类型:string

save_path

输入

含义:模型存放路径。

该路径需要包含模型名前缀,例如./quantized_model/*model

数据类型:string

返回值说明

调用示例

1
amct.save_quant_retrain_model(FLAGS.checkpoint_path+'/output_graph.pb',output_node_names, record_file, FLAGS.checkpoint_path+'/resnet50')

保存的量化后的文件,既可以在TensorFlow环境进行精度仿真又可以在昇腾AI处理器做推理的pb模型文件。

重新执行量化感知训练功能时,该接口输出的上述文件将会被覆盖。