MindIE部署Qwen2.5系列模型执行量化推理时报错

问题描述

MindIE部署Qwen2.5系列模型执行量化推理时出现以下报错信息：

ValueError：linear type not matched，please check 'config.json' 'quantize' parameter

或

AttributeError: 'ForkAwareLocal' object has no attribute 'connection‘

原因分析

未配置quantize字段。

解决方案

执行量化推理时，必须在量化权重所在路径的config.json文件中添加quantize字段，值为当前量化权重的量化方式，示例如下：

"quantize": "w8a8"