问题：在910B上，使用vllm-ascend镜像部署容器后，尝试启动Qwen3.5-27B模型，启动服务卡死，日志停留在“Loading safetensors checkpoint shards”步骤，服务和卡上进程也卡主不动。
卡：910B3
驱动：driver=26.0.rc1
固件：firmware=9.0.0.0.205
镜像：quay.io/ascend/vllm-ascend:v0.21.0rc1-openeuler
容器部署命令：
在容器内，模型启动命令：
执行模型启动脚本后，大概2分钟后，日志卡主不动，日志如下：
请问为什么执行启动命令后，会卡在 加载权重步骤中，也没有其他额外日志提示。
点赞
收藏
回复
分享
举报
已解决
问题：在910B上，使用vllm-ascend镜像部署容器后，尝试启动Qwen3.5-27B模型，启动服务卡死，日志停留在“Loading safetensors checkpoint shards”步骤，服务和卡上进程也卡主不动。
卡：910B3
驱动：driver=26.0.rc1
固件：firmware=9.0.0.0.205
镜像：quay.io/ascend/vllm-ascend:v0.21.0rc1-openeuler
容器部署命令：
在容器内，模型启动命令：
#!/bin/sh export ASCEND_RT_VISIBLE_DEVICES=0,1 # Load model from ModelScope to speed up download export VLLM_USE_MODELSCOPE=True # To reduce memory fragmentation and avoid out of memory export PYTORCH_NPU_ALLOC_CONF=expandable_segments:True export HCCL_BUFFSIZE=512 export OMP_PROC_BIND=false export OMP_NUM_THREADS=1 export TASK_QUEUE_ENABLE=1 vllm serve /model/Qwen3.5-27B \ --host 0.0.0.0 \ --port 8000 \ --data-parallel-size 1 \ --tensor-parallel-size 2 \ --seed 1024 \ --served-model-name Qwen3.5-27B \ --max-num-seqs 32 \ --max-model-len 133000 \ --max-num-batched-tokens 8096 \ --trust-remote-code \ --gpu-memory-utilization 0.90 \ --no-enable-prefix-caching \ --speculative-config '{"method": "qwen3_5_mtp", "num_speculative_tokens": 3, "enforce_eager": true}' \ --compilation-config '{"cudagraph_mode":"FULL_DECODE_ONLY"}' \ --additional-config '{"enable_cpu_binding":true}' \ --async-scheduling执行模型启动脚本后，大概2分钟后，日志卡主不动，日志如下：
请问为什么执行启动命令后，会卡在 加载权重步骤中，也没有其他额外日志提示。