我个人为香橙派移植了一个VLLM版本，当前支持Qwen2和Llama2的模型结构，以及AWQ量化，无需编译，下载wheel包安装即可

https://zhuanlan.zhihu.com/p/1936574398380356110

使用说明:

https://github.com/lenLRX/vllm_ascend_orangepi

wheel下载链接

https://github.com/lenLRX/vllm_ascend_orangepi/releases

可用模型例子：

Qwen2.5-7B-Instruct-AWQ