安装NPU-Exporter

前提条件

已完成安装前准备，具体操作请参见安装前准备。

约束限制

• NPU-Exporter会周期性调用NPU驱动的相关接口以检测NPU状态。如果要升级驱动，请先停止NPU-Exporter。
• NPU-Exporter调用的DCMI动态库及其所有父目录，需要满足属主为root，其他属主程序无法运行；同时，这些文件及其目录需满足group和other不具备写权限。
• DCMI动态库路径深度必须小于20。
• 如果通过设置LD_LIBRARY_PATH设置动态库路径，LD_LIBRARY_PATH环境变量总长度不能超过1024。
• Atlas 200I Soc A1 核心板节点上NPU-Exporter只支持二进制方式运行。

操作步骤

NPU-Exporter支持两种安装方式，用户可根据实际情况选择其中一种进行安装。

• （推荐）当安全要求较高时，建议在物理机上以二进制方式运行，安装步骤参见二进制方式运行。
• 以容器化方式运行，安装步骤参见容器化方式运行。

二进制方式运行

NPU-Exporter组件使用特权容器、root用户和挂载了docker-shim或container的socket文件，如果容器被人恶意利用，有容器逃逸风险。建议导入证书后，直接在物理机上通过二进制服务启动。

1. 获取NPU-Exporter软件包，请参见准备软件包。
2. 使用root用户登录服务器并将软件包上传到组件安装服务器的任意目录（如“/home/ascend-npu-exporter”）并解压。
3. 进行安全加固，导入HTTPS证书，参考导入HTTPS证书和KubeConfig文件。
4. 参考如下内容，创建“npu-exporter.service”文件，放入软件包解压目录“/home/ascend-npu-exporter”。

   [Unit]
   Description=Ascend npu exporter
   Documentation=hiascend.com
   
   [Service]
   ExecStart=/bin/bash -c "/usr/local/bin/npu-exporter -ip=127.0.0.1 -port=8082 -logFile=/var/log/mindx-dl/npu-exporter/npu-exporter.log>/dev/null  2>&1 &"
   Restart=always
   RestartSec=2
   KillMode=process
   Environment="LD_LIBRARY_PATH=/usr/local/kmc"
   Environment="GOGC=50"
   Environment="GOMAXPROCS=2"
   Environment="GODEBUG=madvdontneed=1"
   Type=forking
   User=hwMindX
   Group=hwMindX
   
   [Install]
   WantedBy=multi-user.target

5. NPU-Exporter默认情况只侦听127.0.0.1，如需修改启动参数，可以自行修改“npu-exporter.service”的“ExecStart”字段。字段请参考表1。

   ...
   [Service]
   ExecStart=/bin/bash -c "/usr/local/bin/npu-exporter -ip=127.0.0.1 -port=8082 -logFile=/var/log/mindx-dl/npu-exporter/npu-exporter.log &"
   Restart=always
   RestartSec=2
   ...

6. 如果部署节点不为Atlas 200I Soc A1 核心板，可跳过该步骤。否则，需要在所有该类型节点上将hwMindX用户加入到HwBaseUser、HwDmUser用户组中。可执行如下命令：

   usermod -a -G HwBaseUser hwMindX
   usermod -a -G HwDmUser hwMindX

7. 执行以下命令启用NPU-Exporter服务。

   cd /home/ascend-npu-exporter
   mkdir /usr/local/kmc
   cp -r lib/* /usr/local/kmc
   cp npu-exporter /usr/local/bin
   cp npu-exporter.service /etc/systemd/system
   chattr +i /etc/systemd/system/npu-exporter.service
   chmod 444 /usr/local/kmc/*
   chmod 755 /usr/local/kmc
   chmod 555 /usr/local/bin/npu-exporter
   systemctl enable npu-exporter
   systemctl start npu-exporter

   

   • 如果需要获取容器相关指标，NPU-Exporter需要临时提权以便于和CRI和OCI的socket建立连接，需要执行以下命令

     setcap cap_setuid+ep /usr/local/bin/npu-exporter
     tee /etc/ld.so.conf.d/ascend_dl_so.conf <<- EOF
     /usr/local/kmc
     EOF
     ldconfig
     systemctl restart npu-exporter

   • 加密组件依赖的动态库文件lib目录中提供了libcrypto.so动态库，在某些环境下可能会与系统自带库冲突，如果执行安装过程出现了包含openssl相关的错误，请参见FAQ解决。

容器化方式运行

1. 以root用户登录各计算节点，并执行以下命令，查看NPU-Exporter镜像和版本号是否正确。

   docker images | grep npu-exporter

   示例如下：

   root@ubuntu:~# docker images|grep npu-exporter 
   npu-exporter                         v3.0.RC3              20185c45f1bc        About an hour ago         90.1MB

   • 是，执行2。
   • 否，请参见制作基础镜像，完成镜像制作和分发。

2. 如果不导入证书，可跳过该步骤。否则，将软件包上传到各计算机节点任意目录并解压，然后进行安全加固，导入证书，参考导入HTTPS证书和KubeConfig文件。
3. 将从开源社区获取的yaml文件拷贝到K8s管理节点上。
4. 如不修改组件启动参数，可跳过本步骤。否则，请根据实际情况修改NPU-Exporter的启动参数。启动参数如表1所示，可执行./npu-exporter -h查看参数说明。
   修改“npu-exporter-*.yaml”文件中NPU-Exporter的启动参数。示例如下。

   ...
           command: [ "/bin/bash", "-c", "--"]
           args: [ "umask 027;npu-exporter -port=8082 -ip=0.0.0.0  -updateTime=5
                    -logFile=/var/log/mindx-dl/npu-exporter/npu-exporter.log -logLevel=0 -containerMode=containerd" ]
           .... 
   #如容器运行时使用containerd时，需要修改启动参数，并删除以下dockershim的挂载路径（删除加粗部分，省略号部分代码不删除）。
   
           - name: docker-shim  # delete when only use containerd
               mountPath: /var/run/dockershim.sock
               readOnly: true
           - name: docker  # delete when only use containerd
               mountPath: /var/run/docker
               readOnly: true
           ...
           - name: docker-shim # delete when only use containerd
             hostPath:
               path: /var/run/dockershim.sock
           - name: docker  # delete when only use containerd
             hostPath:
               path: /var/run/docker

5. 执行以下命令，启动NPU-Exporter。

   kubectl apply -f npu-exporter-*.yaml

   启动示例如下所示：

   root@ubuntu:/home/ascend-npu-exporter# kubectl apply -f npu-exporter-v3.0.RC3.yaml 
   namespace/npu-exporter unchanged
   networkpolicy.networking.k8s.io/exporter-network-policy unchanged
   daemonset.apps/npu-exporter created
   root@ubuntu:/home/ascend-npu-exporter# kubectl get pod -n npu-exporter
   NAME                            READY   STATUS    RESTARTS   AGE
   ...
   npu-exporter-hqpxl              1/1     Running   0          11s
   ...

   

   NPU-Exporter的使用对进程环境有要求，以容器形式运行时，请确保“/sys”目录和容器运行时通信socket文件挂载至NPU-Exporter容器中。

参数说明