扩展更多特性
- QAT模型适配CANN模型
如果用户对ONNX原始模型已经做了量化功能(以下简称QAT模型),但是该模型无法使用ATC工具转成适配昇腾AI处理器的离线模型,则需要借助本节提供的功能,将该QAT模型适配成CANN量化模型格式。然后才能使用ATC工具,将CANN量化模型转成适配昇腾AI处理器的离线模型
- 量化数据均衡预处理
在一些数据分布不均匀的场景,由于离群值的影响,对数据进行per-tensor量化得到的结果误差较大,而per-channel量化可以获得更低的误差。但由于当前硬件不支持数据per-channel量化,仅支持权重per-channel量化;在该背景下AMCT设计出一套方法,本节将给出详细介绍。