在昇腾910B上使用MindIE部署Qwen-72B模型遇到容器启动失败问题
问题描述:
最近在尝试使用华为昇腾MindIE框架部署Qwen-72B大模型到昇腾910B服务器上,但在启动Docker容器时遇到了严重问题。容器启动后立即退出,无法正常进入容器环境进行后续部署操作。
环境信息:
启动命令:
错误现象:
-
容器创建后立即退出,状态显示为Exited (1)
-
查看容器日志显示:
已尝试的解决方案:
-
检查目录权限:已确认/usr/local/bin目录权限为0755,使用chmod 0755 /usr/local/bin修复
-
添加--privileged参数:在启动命令中添加了--privileged=true参数
-
添加--init参数:尝试添加--init参数防止僵尸进程
-
检查NPU驱动:使用npu-smi info确认NPU驱动正常,4张卡状态均为OK
-
验证CANN版本兼容性:确认CANN 2.1.0与当前内核版本匹配
-
尝试前台运行:去掉-d参数直接前台运行,同样立即退出
当前状态:
容器仍然无法正常启动,MindIE服务无法部署。根据错误信息,似乎是昇腾Docker运行时在挂载设备文件时遇到权限问题,但已经检查了所有相关目录的权限。
求助内容:
-
有没有遇到过类似问题的同学?如何解决这个容器启动时的挂载错误?
-
MindIE部署Qwen-72B这样的大模型,除了容器权限问题,还有哪些需要特别注意的配置?
在昇腾910B上使用MindIE部署Qwen-72B模型遇到容器启动失败问题
问题描述:
最近在尝试使用华为昇腾MindIE框架部署Qwen-72B大模型到昇腾910B服务器上,但在启动Docker容器时遇到了严重问题。容器启动后立即退出,无法正常进入容器环境进行后续部署操作。
环境信息:
硬件:昇腾910B(32G),4卡配置
操作系统:OpenEuler 24.03 LTS
CANN版本:2.1.0
MindIE镜像:swr.cn-south-1.myhuaweicloud.com/ascendhub/mindie:2.1.RC1-800I-A2-py311-openeuler24.03-lts
Docker版本:20.10.17
模型:Qwen-72B-Chat(已转换为FP16格式)
启动命令:
错误现象:
容器创建后立即退出,状态显示为Exited (1)
查看容器日志显示:
已尝试的解决方案:
检查目录权限:已确认
/usr/local/bin目录权限为0755,使用chmod 0755 /usr/local/bin修复添加--privileged参数:在启动命令中添加了
--privileged=true参数添加--init参数:尝试添加
--init参数防止僵尸进程检查NPU驱动:使用
npu-smi info确认NPU驱动正常,4张卡状态均为OK验证CANN版本兼容性:确认CANN 2.1.0与当前内核版本匹配
尝试前台运行:去掉
-d参数直接前台运行,同样立即退出当前状态:
容器仍然无法正常启动,MindIE服务无法部署。根据错误信息,似乎是昇腾Docker运行时在挂载设备文件时遇到权限问题,但已经检查了所有相关目录的权限。
求助内容:
有没有遇到过类似问题的同学?如何解决这个容器启动时的挂载错误?
MindIE部署Qwen-72B这样的大模型,除了容器权限问题,还有哪些需要特别注意的配置?