MindSpore 权重量化 8bit 加 --optimize=ascend_oriented 量化无效,去掉后模型变小但推理报错
收藏回复举报
MindSpore 权重量化 8bit 加 --optimize=ascend_oriented 量化无效,去掉后模型变小但推理报错
t('forum.solved') 已解决
发表于2026-08-11 15:34:51
0 查看

使用 MindSpore Lite 的 converter_lite 对 MINDIR 模型做 8bit 权重量化(quant_type=WEIGHT_QUANT,bit_num=8),

转换命令为

./converter_lite --fmk=MINDIR --saveType=MINDIR \ --modelFile=model.mindir --outputFile=model \ --optimize=ascend_oriented

但加 --optimize=ascend_oriented 时量化后模型大小与 FP16 一致、无 int8 量化效果,去掉该选项后模型大小符合预期却推理报错,

请问 ascend_oriented 是否会导致权重量化不生效?

在昇腾平台上做 8bit 权重量化正确的转换配置应如何写?

我要发帖子