启动NPU-Exporter

约束限制

• NPU-Exporter会周期性调用NPU驱动的相关接口以检测NPU状态。如果要升级驱动，请先卸载NPU-Exporter。
• NPU-Exporter调用的DCMI动态库及其所有父目录，需要满足属主为root，其他属主程序无法运行；同时，这些文件及其目录需满足group和other不具备写权限。
• DCMI动态库路径深度必须小于20。
• 如果通过设置LD_LIBRARY_PATH设置动态库路径，LD_LIBRARY_PATH环境变量总长度不能超过1024。
• Atlas 200I SoC A1 核心板节点上使用容器化部署NPU-Exporter，需要配置多容器共享模式，具体请参考《Atlas 200I SoC A1 核心板 23.0.RC1 NPU驱动和固件安装指南》。

操作步骤

NPU-Exporter支持两种安装方式，用户可根据实际情况选择其中一种进行安装。该组件仅提供HTTP服务，如需使用更为安全的HTTPS服务，请自行修改源码进行适配。

• （推荐）以容器化方式运行，安装步骤参见容器化方式运行。
• 当安全要求较高时，建议在物理机上以二进制方式运行，安装步骤参见二进制方式运行。

容器化方式运行

1. 以root用户登录各计算节点，并执行以下命令，查看NPU-Exporter镜像和版本号是否正确。

   docker images | grep npu-exporter

   示例如下：

   root@ubuntu:~# docker images|grep npu-exporter 
   npu-exporter                         v5.0.RC1              20185c45f1bc        About an hour ago         90.1MB

   • 是，执行2。
   • 否，请参见制作镜像，完成镜像制作和分发。

2. 将软件包中获取的yaml文件拷贝到K8s管理节点上。
3. 如果使用默认的NPU-Exporter启动参数“-containerMode=docker”，可跳过本步骤。如果将NPU-Exporter的启动参数设置为“-containerMode=containerd”时，需要将yaml中如下加粗的内容删除。

   apiVersion: apps/v1
   kind: DaemonSet
   metadata:
     name: npu-exporter
     namespace: npu-exporter
   spec:
     selector:
       matchLabels:
         app: npu-exporter
   ...
       spec:
   ...
           volumeMounts:
   ...
             - name: docker-shim  # delete when only use containerd   # 以下加粗内容需要删除
               mountPath: /var/run/dockershim.sock
               readOnly: true
             - name: docker  # delete when only use containerd
               mountPath: /var/run/docker
               readOnly: true
   ...
         volumes:
   ...
           - name: docker-shim # delete when only use containerd
             hostPath:
               path: /var/run/dockershim.sock
           - name: docker  # delete when only use containerd
             hostPath:
               path: /var/run/docker
   ...

4. 如不修改组件的其他启动参数，可跳过本步骤。否则，请根据实际情况修改yaml文件中NPU-Exporter的启动参数。启动参数如表1所示，也可执行./npu-exporter -h查看参数说明。
5. 执行以下命令，启动NPU-Exporter。

   kubectl apply -f npu-exporter-v{version}.yaml

   • K8s集群中使用了Atlas 200I Soc A1 核心板节点，执行以下命令。

     kubectl apply -f npu-exporter-310P-1usoc-v{version}.yaml

   • K8s集群中使用了其他类型节点，执行以下命令。

     kubectl apply -f npu-exporter-v{version}.yaml

   如果K8s集群同时使用了Atlas 200I SoC A1 核心板和其他类型的节点，请分别执行对应命令。

   启动示例如下，出现Running表示组件启动成功：

   root@ubuntu:/home/ascend-npu-exporter# kubectl apply -f npu-exporter-v5.0.RC1.yaml 
   namespace/npu-exporter unchanged
   networkpolicy.networking.K8s.io/exporter-network-policy unchanged
   daemonset.apps/npu-exporter created
   root@ubuntu:/home/ascend-npu-exporter# kubectl get pod -n npu-exporter
   NAME                            READY   STATUS    RESTARTS   AGE
   ...
   npu-exporter-hqpxl              1/1     Running   0          11s
   ...

   

   NPU-Exporter的使用对进程环境有要求，以容器形式运行时，请确保“/sys”目录和容器运行时通信socket文件挂载至NPU-Exporter容器中。

二进制方式运行

NPU-Exporter组件以容器化方式运行时需使用特权容器、root用户和挂载了docker-shim或Containerd的socket文件，如果容器被人恶意利用，有容器逃逸风险。当安全性要求较高时，请直接在物理机上通过二进制方式运行。

1. 使用root用户登录服务器。
2. 将软件包上传至服务器的任意目录（如“/home/ascend-npu-exporter”）并进行解压操作。
3. 执行以下命令，创建npu-exporter.service文件。

   vim /home/ascend-npu-exporter/npu-exporter.service

4. 参考如下内容，写入npu-exporter.service文件中。

   [Unit]
   Description=Ascend npu exporter
   Documentation=hiascend.com
   
   [Service]
   ExecStart=/bin/bash -c "/usr/local/bin/npu-exporter -ip=127.0.0.1 -port=8082 -logFile=/var/log/mindx-dl/npu-exporter/npu-exporter.log>/dev/null  2>&1 &"
   Restart=always
   RestartSec=2
   KillMode=process
   Environment="LD_LIBRARY_PATH=/usr/local/kmc"
   Environment="GOGC=50"
   Environment="GOMAXPROCS=2"
   Environment="GODEBUG=madvdontneed=1"
   Type=forking
   User=hwMindX
   Group=hwMindX
   
   [Install]
   WantedBy=multi-user.target

5. NPU-Exporter默认情况只侦听127.0.0.1，可通过修改的启动参数“-ip”和“npu-exporter.service”文件的“ExecStart”字段修改需要侦听的IP地址。

   ...
   [Service]
   ExecStart=/bin/bash -c "/usr/local/bin/npu-exporter -ip=127.0.0.1 -port=8082 -logFile=/var/log/mindx-dl/npu-exporter/npu-exporter.log &"
   Restart=always
   RestartSec=2
   ...

6. 如果部署节点不为Atlas 200I SoC A1 核心板，可跳过该步骤。否则，需要在所有该类型节点上将hwMindX用户加入到HwBaseUser、HwDmUser用户组中。可执行如下命令进行操作：

   usermod -a -G HwBaseUser hwMindX
   usermod -a -G HwDmUser hwMindX

7. 依次执行以下命令，启用NPU-Exporter服务。

   cd /home/ascend-npu-exporter
   cp npu-exporter /usr/local/bin
   cp npu-exporter.service /etc/systemd/system
   chattr +i /etc/systemd/system/npu-exporter.service
   chmod 500 /usr/local/bin/npu-exporter
   chown hwMindX:hwMindX /usr/local/bin/npu-exporter
   chattr +i /usr/local/bin/npu-exporter
   systemctl enable npu-exporter
   systemctl start npu-exporter

   

   如果需要获取容器相关指标，NPU-Exporter需要临时提权以便于和CRI、OCI的socket建立连接，需要执行以下命令。

   chattr -i /usr/local/bin/npu-exporter
   setcap cap_setuid+ep /usr/local/bin/npu-exporter
   chattr +i /usr/local/bin/npu-exporter
   systemctl restart npu-exporter

参数说明