MindIE加载模型启动报错
收藏回复举报
MindIE加载模型启动报错
t('forum.solved') 已解决
新人帖
发表于2025-03-20 22:27:07
0 查看

服务器信息:centos7.6 arm64 版本

显卡:1台8卡昇腾910proB

下载官方镜像:mindie:1.0.0-800I-A2-py311-openeuler24.03-lts

加载模型:DeepSeek-R1-Distill-Qwen-14B

执行启动命令后报错:错误如下  [2025-03-20 22:16:19,357] [1834] [281464052773216] [llm] [INFO] [logging.py-331] : Skip binding cpu. 

[2025-03-20 22:16:20,030] [1834] [281464052773216] [llm] [INFO] [logging.py-331] : model_runner.quantize: None, model_runner.kv_quant_type: None, model_runner.fa_quant_type: None, model_runner.dtype: torch.float16

cke_5986.png

我要发帖子