1 非商用声明

该文档提供的内容为参考实践，仅供用户参考使用，用户可参考实践文档构建自己的软件，并按需进行安全、可靠性加固，但不建议直接将相关Demo或镜像文件集成到商用产品中。

2 概述

大语言模型（LLM）在昇腾平台广泛应用，vLLM Ascend作为常用高性能推理引擎，所支持的模型种类日益丰富。然而在实际生产落地过程中，模型服务的部署面临着环境依赖复杂、手工操作易错、调优文档分散且缺乏经验等痛点问题。

本参考实践提供DeepSeek/Qwen/GLM/MiniMax等系列大模型在Atlas 800I A2/Atlas 800I A3等不同硬件环境下vLLM Ascend的自动化部署、推荐配置和加速特性使能能力。通过声明式配置实现环境初始化、依赖安装、参数配置等全流程自动化，降低人工介入与出错风险。快速实现模型服务一键部署、开箱最优。

3 适用范围

模型列表与支持的操作系统列表，详细内容可参考README与脚本--help信息，部署前需确保OS版本在支持列表内。

4 准备工作

• 确保系统已连接网络；
• 确保当前执行用户为 root 用户；
• 确保磁盘空间充足（本工具下载的镜像及模型默认保存在工具所在目录，至少 100GB，取决于模型大小）；
• 执行下载的机器需安装docker用于下载镜像，其余机器可通过本工具自动安装docker
• 克隆本代码仓：git clone https://gitcode.com/Ascend/ascend-deployer.git -b appliance_deployer。

5 使用指导

以Atlas800I A2机型、OpenEuler操作系统，部署Qwen3.5-27B模型为例，每个脚本支持的参数详见README和脚本对应help，请根据实际使用场景进行设置。

1.下载软件包和LLM模型

bash download.sh --os OpenEuler_22.03LTS-SP4_aarch64 --model Eco-Tech/Qwen3.5-27B-w8a8-mtp --download-model

执行该命令后会一键下载vLLM-Ascend镜像、NPU驱动与固件、操作系统依赖、等软件包及对应的模型权重文件。

2.安装基础软件

bash install_base_sw.sh

执行该命令后会一键安装操作系统依赖、NPU驱动与固件等软件。

3.一键拉起LLM模型服务

bash install_llm.sh --model Qwen3.5-27B-w8a8-mtp  --port 8000 --api-key <YOUR_API_KEY>

4.模型服务使用示例

curl http://${ip}:${port}/v1/completions \
-H "Content-Type: application/json" \
-H "Authorization: Bearer ${api_key}" \
-d '{
"model": "Qwen3.5-27B-w8a8-mtp",
"prompt": "介绍一下你自己",
"temperature": 0,
"max_tokens": 100
}'

ip、prot、api_key注意替换为实际配置的配置。

5.卸载模型服务

# 查看所有容器
docker ps -a  
# 停止并删除 vllm_ascend_0 容器
docker stop vllm_ascend_0 
docker rm vllm_ascend_0

容器名默认为 vllm_ascend_x 格式（如 vllm_ascend_0、vllm_ascend_1 等），卸载容器不会删除模型权重文件，如需彻底清理请手动删除 --weight_path 指定的模型权重目录。