1、mindie容器镜像信息： mindie: 2.0.RC2-800I-A2-py311-openeuler24.03-lts2025

2、容器中npu-smi info情况

3、宿主机情况

(mmlm) [Guest@host105 Ascend]$ cat /etc/os-release

NAME="HopeOS"

VERSION="V22"

ID="HopeOS"

VERSION_ID="V22"

PRETTY_NAME="HopeOS V22"

ANSI_COLOR="0;31"

4、加载的大模型

qwen2.5-14B-instruct-w8a8

5、容器内执行mindie 报错

解决方案：

1. 将quant_model_description.json修改为quant_model_description_w8a8.json

2. congfig.json 文件中添加quantize字段

   

   如果不加quantize字段 字段会报如下错误：

   

3. 成功部署

   

这里就不得不吐槽下菊花的帮助文档，在量化readme中根本就没有提及上面这些信息，菊花要求的端到端解决，在这里形同虚设。