先是使用4张卡,在容器内运行mindie-service跑qwen2-72B,正常跑完T-EVAL评测,在切换成qwen2-32B运行出现异常;
先是提示端口被占用,配置的managementPort端口被kube-proxy占用,换端口依然失败,换回72B模型也依然报错,
在仔细查看报错信息,发现是找不到卡了;
重启容器依然报同样的错误;再使用同样参数启新容器,也一样报错,且发现在容器内运行python -> import torch_npu即报错,在其他镜像起的容器内可正常运行;
相关日志见附件,望回复~
镜像:swr.cn-south-1.myhuaweicloud.com/ascendhub/mindie:1.0.RC3-800I-A2-arm64
910B3 npu-smi 23.0.3 Version: 23.0.3
先是使用4张卡,在容器内运行mindie-service跑qwen2-72B,正常跑完T-EVAL评测,在切换成qwen2-32B运行出现异常;
先是提示端口被占用,配置的managementPort端口被kube-proxy占用,换端口依然失败,换回72B模型也依然报错,
在仔细查看报错信息,发现是找不到卡了;
重启容器依然报同样的错误;再使用同样参数启新容器,也一样报错,且发现在容器内运行python -> import torch_npu即报错,在其他镜像起的容器内可正常运行;
相关日志见附件,望回复~
镜像:swr.cn-south-1.myhuaweicloud.com/ascendhub/mindie:1.0.RC3-800I-A2-arm64
910B3 npu-smi 23.0.3 Version: 23.0.3