使用 MindSpore Lite 的 converter_lite 对 MINDIR 模型做 8bit 权重量化(quant_type=WEIGHT_QUANT,bit_num=8),
转换命令为
./converter_lite --fmk=MINDIR --saveType=MINDIR \ --modelFile=model.mindir --outputFile=model \ --optimize=ascend_oriented
但加 --optimize=ascend_oriented 时量化后模型大小与 FP16 一致、无 int8 量化效果,去掉该选项后模型大小符合预期却推理报错,
请问 ascend_oriented 是否会导致权重量化不生效?
在昇腾平台上做 8bit 权重量化正确的转换配置应如何写?
使用 MindSpore Lite 的 converter_lite 对 MINDIR 模型做 8bit 权重量化(quant_type=WEIGHT_QUANT,bit_num=8),
转换命令为
./converter_lite --fmk=MINDIR --saveType=MINDIR \ --modelFile=model.mindir --outputFile=model \ --optimize=ascend_oriented
但加 --optimize=ascend_oriented 时量化后模型大小与 FP16 一致、无 int8 量化效果,去掉该选项后模型大小符合预期却推理报错,
请问 ascend_oriented 是否会导致权重量化不生效?
在昇腾平台上做 8bit 权重量化正确的转换配置应如何写?