环境准备

前提条件

物理机部署场景，需要在物理机安装NPU驱动固件以及部署Docker，执行如下步骤判断是否已安装NPU驱动固件和部署Docker。

• 执行以下命令查看NPU驱动固件是否安装。若出现类似如图1所示，说明已安装。否则请参见表1与表2进行安装。

  npu-smi info

  图1 回显信息
  

  表1 Atlas 推理系列产品

  产品型号	参考文档
  Atlas 300I Duo	《Atlas A2 中心推理和训练硬件 24.1.RC3 NPU驱动和固件安装指南》中的“物理机安装与卸载 ”章节

  表2 Atlas 800I A2 推理产品

  产品型号	参考文档
  Atlas 800I A2	《Atlas A2 中心推理和训练硬件 24.1.RC3 NPU驱动和固件安装指南》中的“物理机安装与卸载 ”章节

• 执行以下命令查看Docker是否已安装并启动。

  docker ps

  回显以下信息表示Docker已安装并启动。

  CONTAINER ID        IMAGE        COMMAND         CREATED        STATUS         PORTS           NAMES

获取模型权重

请先下载权重，这里以 ChatGLM3-6B为例，下载链接：https://huggingface.co/THUDM/chatglm3-6b/tree/main，将权重文件上传至服务器任意目录（如/home/weight）。

获取容器镜像

进入昇腾官方镜像仓库，根据设备型号选择下载对应的MindIE镜像。

该镜像已具备模型运行所需的基础环境，包括：CANN、FrameworkPTAdapter、MindIE与ATB Models，可实现模型快速上手推理。