Mindie-Service 运行Qwen3-235B-A22B推理失败
收藏回复举报
Mindie-Service 运行Qwen3-235B-A22B推理失败
t('forum.solved') 已解决
新人帖
发表于2025-05-18 17:36:04
0 查看

我使用了两台服务器xxx.16和xxx.17部署Qwen3-235B-A22B,运行Docker命令是sh start_docker.sh qwen3_235 mindie:2.0.T18.B010-800I-A2-py3.11-openeuler24.03-lts-aarch64 "-v /data/models/Qwen/Qwen3-235B-A22B/:/data/models/Qwen/Qwen3-235B-A22B/  -v /data/rank_table_file.json:/data/rank_table_file.json"        

操作步骤是根据https://modelers.cn/models/MindIE/Qwen3-235B-A22B 进行操作的,一开始主从节点报错信息是 You are using a model of type qwen3_moe to instantiate a model of type qwen2. 和 主节点报错为   cke_7093.png

将模型的config.json的model_type改为qwen之后,只报上面截图错误,请问这个怎么解决

我要发帖子