---
title: vLLM核心加速特性全量支持昇腾-官方技术文章-昇腾社区
description: 2025年迎来推理应用的持续爆发。开源社区vLLM提供了一系列的大模型推理加速技术，得到用户的支持与认可，越来越多应用基于vLLM构建和部署。近日，昇腾联合vLLM社区，推出全新的多样化算力接入机制，并创建vLLM昇腾开源项目，率先在昇腾上完成了最佳实践，使能vLLM全面支持昇腾推理。
keywords: LLM,核心加速特性,全量支持昇腾,官方技术文章,昇腾社区,昇腾首创多样,化算力动态加,载接入机制
url: https://www.hiascend.com/developer/techArticles/20250403-1?envFlag=1
section: (其他)
---

# vLLM核心加速特性全量支持昇腾-官方技术文章-昇腾社区

URL: https://www.hiascend.com/developer/techArticles/20250403-1?envFlag=1
描述: 2025年迎来推理应用的持续爆发。开源社区vLLM提供了一系列的大模型推理加速技术，得到用户的支持与认可，越来越多应用基于vLLM构建和部署。近日，昇腾联合vLLM社区，推出全新的多样化算力接入机制，并创建vLLM昇腾开源项目，率先在昇腾上完成了最佳实践，使能vLLM全面支持昇腾推理。
关键词: LLM,核心加速特性,全量支持昇腾,官方技术文章,昇腾社区,昇腾首创多样,化算力动态加,载接入机制

官方技术文章 [了解详情](https://www.hiascend.com/zh/developer/techArticles)

vLLM核心加速特性全量支持昇腾

vLLM核心加速特性全量支持昇腾

MindIE

发表于: 2025/04/03

2025年迎来推理应用的持续爆发。开源社区vLLM提供了一系列的大模型推理加速技术，得到用户的支持与认可，越来越多应用基于vLLM构建和部署。近日，昇腾联合vLLM社区，推出全新的多样化算力接入机制，并创建vLLM昇腾开源项目，率先在昇腾上完成了最佳实践，使能vLLM全面支持昇腾推理。

## 昇腾首创多样化算力动态加载接入机制

为解决多样化算力的可扩展性、可维护性的问题，昇腾提出了全新的解耦方式，通过Python的Entry Point机制，实现动态加载接入多样性算力。

##### 多样算力接入示例图

在此机制下，用户可通过实现硬件强相关的Worker、ModelRunner、Attention、Communicator等模块，以零侵入、用户无感的方式加载并运行。

基于该方案，昇腾在社区创建了vllm-ascend项目，率先完成了端到端最佳实践，使能vLLM正式全面支持昇腾推理，并在社区持续演进。

## vLLM核心加速特性已全量支持昇腾，充分释放算力

目前最核心的vLLM加速特性已全量支持昇腾硬件运行，也将持续迭代，进一步完善支持能力。

## 快速体验vLLM昇腾项目

### 环境检查

体验之前，您需确认固件/驱动已正确安装，可运行如下命令确认：

```
npu-smi info
```

如正常回显，表示环境正确配置。若未正常显示，您可以参考：https://www.hiascend.com/document/detail/zh/canncommercial/800/softwareinst/instg/instg_0005.html?Mode=PmIns&OS=Ubuntu&Software=cannToolKit [了解详情](https://www.hiascend.com/document/detail/zh/canncommercial/800/softwareinst/instg/instg_0005.html?Mode=PmIns&OS=Ubuntu&Software=cannToolKit)配置环境。

##### 扫一扫前往安装说明

### 容器快速体验

您可以使用如下命令，一键拉起vLLM Ascend容器镜像：

```
# Update DEVICE according to your device (/dev/davinci[0-7])
```

- ### 验证运行

### I离线推理

您可以使用可使用vLLM + vLLM Ascend进行离线推理。

以下是example.py的示例：

```
from vllm import LLM, SamplingParams
```

运行以上脚本即可使用vLLM + vLLM Ascend进行推理:

```
# export VLLM_USE_MODELSCOPE=true to speed up download if huggingface is not reachable.
```

### I在线推理

您也可以一键部署在线推理服务：

```
vllm serve Qwen/Qwen2.5-0.5B-Instruct
```

服务启动后，您可以通过curl请求来进行内容生成：

```
curl http://localhost:8000/v1/completions \
```

## 开发者可自定义开发昇腾算子

昇腾vLLM Ascend在首发版本中，也支持开发者使用CANN提供的强大的Ascend C编程接口自己实现所需算子。

- 基于AscendC与C++实现，充分发挥昇腾硬件的性能优势。

- 兼容PyTorch Custom Op注册机制，vLLM代码零修改，开箱即用。

目前vLLM社区已提供了完整的 Demo 实现。可参考官方教程：AscendC 开发指南，了解基本语法、算子开发流程。欢迎感兴趣的开发者加入社区，共同完善vLLM Ascend生态，探索更多技术可能性！

### 相关链接

项目仓库：https://github.com/vllm-project/vllm-ascend [了解详情](https://github.com/vllm-project/vllm-ascend)文档链接：https://vllm-ascend.readthedocs.io/ [了解详情](https://vllm-ascend.readthedocs.io)问题反馈：https://github.com/vllm-project/vllm-ascend/issues [了解详情](https://github.com/vllm-project/vllm-ascend/issues)社区论坛：https://discuss.vllm.ai/c/hardware-support/vllm-ascend-support [了解详情](https://discuss.vllm.ai/c/hardware-support/vllm-ascend-support)

本页内容