引言本文档汇总昇腾硬件平台支持部署的模型全量适配信息，并按主流推理引擎（vLLM-Ascend、MindIE、SGLang）分类说明适配矩阵、硬件要求及部署实践一、模型适配资源查询矩阵查询渠道定位说明官方入口昇腾模型查询助手按推理引擎及版本精准查询充分测试验证过的适配模型 https://www.hiascend.com/developer/models 昇腾模型生态全景平台基于模型视角的全量适配生态，按模型系列和应用场景对模型分类 https://ai.gitcode.com/ascend-model-ecosystem 框架官方支持矩阵直接查看各推理引擎的版本兼容性与特性支持清单 vLLM-Ascend：https://docs.vllm.ai/projects/ascend/zh-cn/latest/user_guide/support_matrix/supported_models.html MindIE：https://gitcode.com/Ascend/MindIE-LLM/blob/master/docs/zh/user_guide/model_support_list.md SGLang：https://docs.sglang.io/docs/hardware-platforms/ascend-npus/ascend_npu_support_models Ascend-SACT 支持按多模态、自然语言处理等类别查看该团队的模型适配项目 https://gitcode.com/Ascend-SACT 建议： ①优先通过“昇腾模型查询助手”按目标引擎筛选（如下图），若需了解该引擎的最新全量适配模型情况，可查看该框架的模型支持矩阵（见上表） ②若您设备的NPU卡与已支持硬件NPU型号一致（例如：300I Duo的NPU为310P），可参考对应硬件的部署方案尝试部署，但无法保证非标准型号 100% 兼容。二、推理引擎适配信息 2.1 vLLM-Ascend ● 支持硬件：https://docs.vllm.ai/projects/ascend/zh-cn/latest/quick_start.html 例如： ● 模型支持矩阵：https://docs.vllm.ai/projects/ascend/en/latest/user_guide/support_matrix/supported_models.html 注：矩阵可根据硬件型号进行适配模型切换，查看特性支持情况，其中✅表示官方充分验证过的适配模型。 2.2 MindIE ● 支持硬件：Atlas 300I Duo、Atlas 800I A2、Atlas 800 I A3（当前300I Pro，300V，300V Pro官方无明确支持，可参考300I Duo的部署教程进行部署） ● 模型支持矩阵：https://gitcode.com/Ascend/MindIE-LLM/blob/master/docs/zh/user_guide/model_s 2.3 SGLang ● 支持硬件：仅支持Atlas 800I A2推理系列（Atlas 800I A2）和Atlas 800I A3推理系列（Atlas 800I A3） ● 模型支持矩阵：https://docs.sglang.io/docs/hardware-platforms/ascend-npus/ascend_npu_support_models ● SGLang文档：https://docs.sglang.io/docs/hardware-platforms/ascend-npus/ascend_npu_quick_start 三、小模型部署参考 3.1 PyTorch 模型支持矩阵：https://gitcode.com/Ascend/ModelZoo-PyTorch/tree/master/ACL_PyTorch 3.2 昇腾镜像仓库若上述均未找到自己想要部署的模型，也可在昇腾镜像仓库中进行查询，例如： mis-tei镜像（该镜像专为词向量模型的适配与部署设计）， mineru镜像（基于vLLM-Ascend，集成MinerU加速优化，用于文档解析场景的推理加速）等昇腾镜像仓库：https://www.hiascend.com/developer/ascendhub