最近在尝试使用华为昇腾MindIE框架部署Qwen-72B大模型到昇腾910B服务器上,但在启动Docker容器时遇到了严重问题。容器启动后立即退出,无法正常进入容器环境进行后续部署操作。
收藏回复举报
最近在尝试使用华为昇腾MindIE框架部署Qwen-72B大模型到昇腾910B服务器上,但在启动Docker容器时遇到了严重问题。容器启动后立即退出,无法正常进入容器环境进行后续部署操作。
t('forum.solved') 已解决
发表于2026-03-25 23:48:55
0 查看

在昇腾910B上使用MindIE部署Qwen-72B模型遇到容器启动失败问题

问题描述:

最近在尝试使用华为昇腾MindIE框架部署Qwen-72B大模型到昇腾910B服务器上,但在启动Docker容器时遇到了严重问题。容器启动后立即退出,无法正常进入容器环境进行后续部署操作。

环境信息:

  • 硬件:昇腾910B(32G),4卡配置

  • 操作系统:OpenEuler 24.03 LTS

  • CANN版本:2.1.0

  • MindIE镜像:swr.cn-south-1.myhuaweicloud.com/ascendhub/mindie:2.1.RC1-800I-A2-py311-openeuler24.03-lts

  • Docker版本:20.10.17

  • 模型:Qwen-72B-Chat(已转换为FP16格式)

启动命令:

docker run -it -d --net=host --shm-size=2g \
  --name mindie_qwen72b \
  --device=/dev/davinci_manager \
  --device=/dev/hisi_hdc \
  --device=/dev/devmm_svm \
  --device=/dev/davinci0 \
  --device=/dev/davinci1 \
  --device=/dev/davinci2 \
  --device=/dev/davinci3 \
  -e ASCEND_VISIBLE_DEVICES=0,1,2,3 \
  -v /usr/local/Ascend/driver:/usr/local/Ascend/driver:ro \
  -v /usr/local/sbin:/usr/local/sbin:ro \
  -v /data/models/Qwen-72B-Chat:/models/Qwen-72B-Chat:rw \
  swr.cn-south-1.myhuaweicloud.com/ascendhub/mindie:2.1.RC1-800I-A2-py311-openeuler24.03-lts bash

错误现象:

  1. 容器创建后立即退出,状态显示为Exited (1)

  2. 查看容器日志显示:

error during container init: error running hook 1:
/usr/local/Ascend/Ascend-Docker-Runtime/ascend-docker-hook err:
error running hook:
exit status 255, stdout: , stderr:
failed to mount src: /usr/local/bin/npu-smi
failed to mount dev
Please check the write permission!

已尝试的解决方案:

  1. 检查目录权限:已确认/usr/local/bin目录权限为0755,使用chmod 0755 /usr/local/bin修复

  2. 添加--privileged参数:在启动命令中添加了--privileged=true参数

  3. 添加--init参数:尝试添加--init参数防止僵尸进程

  4. 检查NPU驱动:使用npu-smi info确认NPU驱动正常,4张卡状态均为OK

  5. 验证CANN版本兼容性:确认CANN 2.1.0与当前内核版本匹配

  6. 尝试前台运行:去掉-d参数直接前台运行,同样立即退出

当前状态:

容器仍然无法正常启动,MindIE服务无法部署。根据错误信息,似乎是昇腾Docker运行时在挂载设备文件时遇到权限问题,但已经检查了所有相关目录的权限。

求助内容:

  1. 有没有遇到过类似问题的同学?如何解决这个容器启动时的挂载错误?

  2. MindIE部署Qwen-72B这样的大模型,除了容器权限问题,还有哪些需要特别注意的配置?

我要发帖子