create_approximation_calibrator

产品支持情况

产品

是否支持

Atlas A2 训练系列产品/Atlas 800I A2 推理产品/A200I A2 Box 异构组件

x

Atlas 200I/500 A2 推理产品

x

Atlas 推理系列产品

Atlas 训练系列产品

x

注:标记“x”的产品,调用接口不会报错,但是获取不到性能收益。

功能说明

近似校准接口,在用户提供的图结构中插入dump数据算子,实现推理时导出校准数据的功能。

函数原型

1
create_approximation_calibrator(graph, config_defination=None)

参数说明

参数名

输入/输出

说明

graph

输入

含义:用户传入的待近似校准模型的tf.Graph图。

数据类型:tf.Graph

config_defination

输入

含义:用户提供的近似校准配置文件路径,用于指定模型tf.Graph图中各层近似校准选项及导出校准数据的batch数。

基于calibration_config_tf.proto文件生成的近似校准简易配置文件approximate.cfg,*.proto文件所在路径为:AMCT安装目录/amct_tensorflow/proto/。

参数解释以及生成的approximate.cfg简易配置文件样例请参见训练后量化简易配置文件

默认值:None

数据类型:string

使用约束:若取值为None,则模型全网内符合近似校准规格限制的算子都会进行近似校准替换,否则根据用户输入的近似校准配置文件设置skip_approximation_layers对指定层跳过近似校准。

返回值说明

调用示例

1
2
ori_graph = user_load_graph()
amct.create_approximation_calibrator(ori_graph, config_defination=None)