环境准备

前提条件

物理机部署场景，需要在物理机安装NPU驱动固件以及部署Docker，执行如下步骤判断是否已安装NPU驱动固件和部署Docker。

• 执行以下命令查看NPU驱动固件是否安装。若出现类似如图1所示，说明已安装。否则请参见表1进行安装。

  npu-smi info

  图1 回显信息
  

  表1 Atlas 800I A2 推理产品

  产品型号	参考文档
  Atlas 800I A2	《Atlas A2 中心推理和训练硬件 24.1.0 NPU驱动和固件安装指南》中的“物理机安装与卸载”章节

• 执行以下命令查看Docker是否已安装并启动。

  docker ps

  回显以下信息表示Docker已安装并启动。

  CONTAINER ID        IMAGE        COMMAND         CREATED        STATUS         PORTS           NAMES

获取模型权重

1. 请先下载权重，这里以Qwen2-7B为例，下载链接：https://huggingface.co/Qwen/Qwen2-7B/tree/main，将权重文件上传至服务器任意目录（如/home/weight）。
2. 执行以下命令，修改权重文件权限：

   chmod -R 755 /home/weight

获取数据集

请先下载数据集，这里以GSM8K为例，下载链接：https://github.com/openai/grade-school-math/blob/master/grade_school_math/data/test.jsonl。同时参考《MindIE Motor开发指南》中的“附录 > 数据集使用”章节，进行GSM8K数据集转token_ids设置。

获取容器镜像

进入昇腾官方镜像仓库，根据设备型号选择下载对应的MindIE镜像。

该镜像已具备模型运行所需的基础环境，包括：CANN、FrameworkPTAdapter、MindIE与ATB Models，可实现模型快速上手推理。