---
title: vLLM-Ascend 部署 W8A8 量化模型时启动失败问题排查与解决方案-官方技术文章-昇腾社区
description: 在基于 Ascend NPU 的大模型推理场景中，vLLM-Ascend 作为高性能推理框架，广泛用于部署主流大语言模型。当尝试在单机多卡（如 16×Ascend 910B2C）环境下，以混合部署模式启动 W8A8 量化模型（如 DeepSeek-R1 系列）时，常会遇到服务启动失败、系统迅速触发 OOM（Out of Memory）的问题。此类问题往往缺乏明确的错误日志提示，排查难度较高，尤其在
keywords: LLM,Ascend,部署,量化模型时启,动失败问题排,查与解决方案,官方技术文章,昇腾社区
url: https://www.hiascend.com/developer/techArticles/20260709-7?envFlag=1
section: (其他)
---

# vLLM-Ascend 部署 W8A8 量化模型时启动失败问题排查与解决方案-官方技术文章-昇腾社区

URL: https://www.hiascend.com/developer/techArticles/20260709-7?envFlag=1
描述: 在基于 Ascend NPU 的大模型推理场景中，vLLM-Ascend 作为高性能推理框架，广泛用于部署主流大语言模型。当尝试在单机多卡（如 16×Ascend 910B2C）环境下，以混合部署模式启动 W8A8 量化模型（如 DeepSeek-R1 系列）时，常会遇到服务启动失败、系统迅速触发 OOM（Out of Memory）的问题。此类问题往往缺乏明确的错误日志提示，排查难度较高，尤其在
关键词: LLM,Ascend,部署,量化模型时启,动失败问题排,查与解决方案,官方技术文章,昇腾社区

官方技术文章 [了解详情](https://www.hiascend.com/zh/developer/techArticles)

vLLM-Ascend 部署 W8A8 量化模型时启动失败问题排查与解决方案

vLLM-Ascend 部署 W8A8 量化模型时启动失败问题排查与解决方案

vLLM

发表于: 2026/07/09