开发者
资源

简介

本节介绍基于图结构的量化,给出量化的分类以及各个分类下的量化流程和调用示例。

量化根据是否需要重训练,分为训练后量化(Post-Training Quantization,简称PTQ)和量化感知训练(Quantization-Aware Training,简称QAT),量化相关概念解释请参见量化,量化算法介绍请参见压缩算法

  • 训练后量化

    根据量化后是否手动调优量化配置文件,分为手工量化基于精度的自动量化

    如果量化后的精度不满足要求,则可以进行基于精度的自动量化或手工调优,推荐使用基于精度的自动量化。

  • 量化感知训练

    量化感知训练当前仅支持对float32数据类型的网络模型进行量化。

    当前仅支持手工量化,如果量化后的精度不满足要求,可以进行手工调优