昇腾社区首页
中文
注册

save_prune_retrain_model

产品支持情况

产品

是否支持

Atlas A3 训练系列产品/Atlas A3 推理系列产品

  • 通道稀疏:√
  • 4选2结构化稀疏接口:√

Atlas A2 训练系列产品/Atlas 800I A2 推理产品/A200I A2 Box 异构组件

  • 通道稀疏:√
  • 4选2结构化稀疏接口:√

Atlas 200I/500 A2 推理产品

  • 通道稀疏:√
  • 4选2结构化稀疏接口:√

Atlas 推理系列产品

  • 通道稀疏:√
  • 4选2结构化稀疏接口:x

Atlas 训练系列产品

  • 通道稀疏:√
  • 4选2结构化稀疏接口:x

注:上述4选2结构化稀疏特性,标记“x”的产品,调用接口不会报错,但是获取不到性能收益。

功能说明

通道稀疏或4选2结构化稀疏接口,两种稀疏特性每次只能使能一个。

  • 通道稀疏场景:根据用户最终的重训练好的带mask算子的模型,生成最终实现通道裁剪的稀疏模型,并删除mask算子。
  • 4选2结构化稀疏场景:根据用户最终的重训练好的带4选2结构化稀疏算子的模型,生成最终的稀疏模型,并删除结构化稀疏算子。

函数原型

1
save_prune_retrain_model(pb_model, outputs, record_file, save_path)

参数说明

参数名

输入/输出

说明

pb_model

输入

含义:带有稀疏算子的推理pb模型,其参数由重训练checkpoint恢复。

数据类型:string

outputs

输入

含义:用户模型的输出。

数据类型:list,列表中元素类型为string,例如[output1,output2,...]。

record_file

输入

含义:记录稀疏信息的文件路径及名称。

数据类型:string

save_path

输入

含义:模型存放路径。

该路径需要包含模型名前缀,例如./prune_model/*model

数据类型:string

返回值说明

调用示例

1
amct.save_prune_retrain_model(masked_pb_path, [operation_name_1, operation_name_2], './tmp/record.txt', './pb_model/final_model')

落盘文件为:实现稀疏的pb模型。