--compression_optimize_conf

功能说明

压缩优化功能配置文件路径以及文件名,通过该参数使能配置文件中指定的压缩优化特性,从而提升网络性能。

关联参数

若通过该参数配置了calibration量化特性,则不能再使用高精度特性,比如不能再通过--precision_mode参数配置force_fp32must_keep_origin_dtype(原图fp32输入);不能通过--op_precision_mode配置high_precision参数等。在高精度模式下设置量化参数,既拿不到量化的性能收益,也拿不到高精度模式的精度收益。

参数取值

参数值:配置文件路径以及文件名。

参数值格式:路径和文件名:支持大小写字母(a-z,A-Z)、数字(0-9)、下划线(_)、中划线(-)、句点(.)、中文汉字。

参数值约束:当前配置文件仅支持calibration特性,用于使能graph压缩功能。配置文件中冒号前面表示模型压缩特征,冒号后面表示该特性对应的参数。具体请参考示例

参数默认值:无。

推荐配置及收益

无。

示例

假设模型压缩功能配置文件名称为compression_optimize.cfg,文件内容配置示例如下:

calibration: 
{
    input_data_dir: ./data.bin,d2.bin
    input_shape: in:16,16;in1:16,16
    config_file: simple_config.cfg
    infer_soc: xxxxxx
    infer_device_id: 0 
    infer_ip: x.x.x.x
    infer_port: 8000
    log: info
}

将该文件上传到AOE工具所在服务器,例如上传到${HOME}/module,使用示例如下:

--compression_optimize_conf=${HOME}/module/compression_optimize.cfg

依赖约束