环境准备

前提条件

物理机部署场景，需要在物理机安装NPU驱动固件以及部署Docker，执行如下步骤判断是否已安装NPU驱动固件和部署Docker。

• 执行以下命令查看NPU驱动固件是否安装。若出现类似如图1所示，说明已安装。否则请参见表1进行安装。

  1	npu-smi info

  图1 回显信息
  

  表1 Atlas A2 推理系列产品

  产品型号	参考文档
  Atlas 800I A2	《Atlas A2 中心推理和训练硬件 24.1.0 NPU驱动和固件安装指南》中的“物理机安装与卸载”章节

• 执行以下命令查看Docker是否已安装并启动。

  1

  docker ps

  回显以下信息表示Docker已安装并启动。

  1	CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES

获取模型权重

1. 请先下载权重，这里以Qwen2-7B为例，下载链接：https://huggingface.co/Qwen/Qwen2-7B/tree/main，将权重文件上传至服务器任意目录（如/home/weight）。
2. 执行以下命令，修改权重文件权限：

   1	chmod -R 755 /home/weight

获取容器镜像

进入昇腾官方镜像仓库，根据设备型号选择下载对应的MindIE镜像。

该镜像已具备模型运行所需的基础环境，包括：CANN、FrameworkPTAdapter、MindIE与ATB Models，可实现模型快速上手推理。