安装依赖

为保证RAG SDK的正常使用，需要安装相关依赖。

如果在物理机内部署RAG SDK，需要安装表1中的所有依赖包。
如果在容器内部署RAG SDK，需要在宿主机上安装npu-driver驱动包、npu-firmware固件包和Ascend Docker Runtime，并启动MindIE推理服务，其他操作请参考容器内部署RAG SDK。

下载依赖软件包

表1 昇腾软件依赖
软件包简称	安装包全名	配套版本	获取链接
CANN软件包	Ascend-cann-toolkit_<version>_linux-<arch>.run	8.2.RC1	商用版：获取链接社区版：获取链接
二进制算子包Kernels	Ascend-cann-kernels-<chip_type>_<version>_linux-<arch>.run
NNAL加速库（可选）	Ascend-cann-nnal_<version>_linux-<arch>.run
npu-driver驱动包	Ascend-hdk-<chip_type>-npu-driver_<version>_linux-<arch>.run	25.2.0	商用版：获取链接社区版：获取链接
npu-firmware固件包	Ascend-hdk-<chip_type>-npu-firmware_<version>.run	25.2.0	商用版：获取链接社区版：获取链接
Index SDK检索软件包	Ascend-mindxsdk-mxindex_<version>_linux-<arch>.run	7.1.RC1	获取链接
MindIE推理引擎软件包	Ascend-mindie_<version>_linux-<arch>.run	2.1.RC1	获取链接
Ascend Docker Runtime	Ascend-docker-runtime_<version>_linux-<arch>.run	7.1.RC1	获取链接
Python	-	3.11	请从Python官网获取依赖软件

<version>表示软件版本号。
<arch>表示CPU架构。
<chip_type>表示芯片类型。可在安装昇腾AI处理器的服务器执行npu-smi info命令进行查询，将查询到的“Name”最后一位数字删除，即是<chip_type>的取值。
为了让非root用户能够使用驱动，安装npu-driver要添加--install-for-all选项。
对于用户集成的开源和第三方软件，漏洞和问题请自行检查并及时进行修复；可以并且不限于通过CVE（通用漏洞字典）官网确认对应开源软件版本的已知漏洞，并通过版本升级、使用patch补丁包更新等方式修复。

安装依赖

安装NPU驱动固件，详细步骤请参见《CANN 软件安装指南》中的“安装NPU驱动和固件”章节（商用版）或“安装NPU驱动和固件”章节（社区版）内容。为了让非root用户能够使用驱动，安装驱动时需添加--install-for-all选项。
可选：安装CANN Toolkit、Kernels和NNAL加速库，详细步骤请参见《CANN 软件安装指南》中的“安装依赖”和“安装CANN软件包”章节。建议以普通用户HwHiAiUser进行安装。如果使用AscendHub镜像部署RAG SDK，无需执行该步骤。
安装并运行推理大模型，详细步骤请参见《MindIE安装指南》中的“方式三：容器部署方式”章节和“配置MindIE Server”章节。
安装Ascend Docker Runtime，详细步骤请参见《MindCluster 集群调度安装指南》的“安装部署”章节。

父主题： 安装部署