MindIE 启动卡死,日志停滞在 model_runner.dtype,NPU 进程存在但模型未加载
收藏回复举报
MindIE 启动卡死,日志停滞在 model_runner.dtype,NPU 进程存在但模型未加载
t('forum.solved') 已解决
新人帖
发表于2025-08-06 11:36:46
0 查看

求助帖:MindIE 启动卡死,日志停滞在 model_runner.dtype,NPU 进程存在但模型未加载

问题描述

执行 ./mindieservice_daemon 后,服务启动并输出初始化日志,但随后长时间无任何进展(已等待超过10分钟)。具体表现为:

  • 日志停留在以下位置:

    log

    深色版本

    [2025-08-06 11:10:27,582] [2107] [281462743036256] [llm] [INFO] [logging.py-331] : 
    model_runner.quantize: None, 
    model_runner.kv_quant_type: None, 
    model_runner.fa_quant_type: None, 
    model_runner.dtype: torch.float16
  • 使用 npu-smi info 查看 NPU 状态,发现 NPU 5 和 6 上有 mindie_llm_back 进程运行,显存占用约 97MB,但是 AICore 利用率为 0%,显存占用远低于预期的 7B 模型需求。

服务器及其他信息

硬件环境

  • 服务器平台:华为鲲鹏 920-3226(ARM 架构)
  • NPU 数量:8 × 昇腾 310P3
  • 架构:aarch64

软件版本

组件版本/名称安装路径或说明
操作系统内核4.19.90-89.24.v2401.ky10.aarch64Kylin V10 SP3
CANN 工具包Ascend-cann-toolkit_8.2.RC1_linux-aarch64/usr/local/Ascend/ascend-toolkit/8.2.RC1/aarch64-linux
NPU 驱动Ascend-hdk-310p-npu-driver_25.2.0_linux-aarch64-
NPU 固件Ascend-hdk-310p-npu-firmware_7.7.0.6.236-
内核开发包kernel-devel, kernel-headers (4.19.90-89.11)-
昇腾 PyTorchtorch_npu-2.6.0-cp310-cp310-manylinux_2_28_aarch64.whl-
推理工具aclruntime, ais_bench-
MindIE 版本1.0.0(路径:/usr/local/Ascend/mindie/1.0.0-

模型信息

  • 模型名称DeepSeek-R1-Distill-Qwen-7B
  • 模型路径:`/root/models/DeepSeek-R1-Distill-Qwen-7B

我要发帖子