NPU Exporter

使用约束

在安装NPU Exporter前，需要提前了解相关约束，具体说明请参见表1。

操作步骤

NPU Exporter支持两种安装方式，用户可根据实际情况选择其中一种进行安装。该组件仅提供HTTP服务，如需使用更为安全的HTTPS服务，请自行修改源码进行适配。

• （推荐）以容器化方式运行，安装步骤参见容器化方式运行。
• 当安全要求较高时，建议在物理机上以二进制方式运行，安装步骤参见二进制方式运行。

容器化方式运行

1. 以root用户登录各计算节点，并执行以下命令，查看NPU Exporter镜像和版本号是否正确。
   • Docker场景：执行如下命令。

     docker images | grep npu-exporter

     回显示例如下。

     1	npu-exporter v7.0.RC1 20185c45f1bc About an hour ago 90.1MB

   • Containerd场景：执行如下命令。

     ctr -n k8s.io c ls | grep npu-exporter

     回显示例如下。

     docker.io/library/npu-exporter:v7.0.RC1                                                         application/vnd.docker.distribution.manifest.v2+json      sha256:38fd69ee9f5753e73a55a216d039f6ed4ea8a5de15c0e6b3bb503022db470c7b 91.5 MiB  linux/arm64 

   • 是，执行步骤2。
   • 否，请参见准备镜像，完成镜像制作和分发。
2. 将NPU Exporter软件包解压目录下的YAML文件，拷贝到K8s管理节点上任意目录。
3. 请根据实际使用的容器化方式，选择执行以下步骤。
   • Containerd场景：需要将containerMode设置为containerd，并对以下加粗的代码进行修改。

   如果使用默认的NPU Exporter启动参数“-containerMode=docker”时，可跳过本步骤。

   apiVersion: apps/v1
   kind: DaemonSet
   metadata:
     name: npu-exporter
     namespace: npu-exporter
   spec:
     selector:
       matchLabels:
         app: npu-exporter
   ...
       spec:
   ...
         args: [ "umask 027;npu-exporter -port=8082 -ip=0.0.0.0  -updateTime=5
                    -logFile=/var/log/mindx-dl/npu-exporter/npu-exporter.log -logLevel=0 -containerMode=containerd" ]
   ...
         volumeMounts:
   ...
           - name: docker-shim                                       
             mountPath: /var/run/dockershim.sock
             readOnly: true
           - name: docker                                       # 仅使用containerd时删除
             mountPath: /var/run/docker
             readOnly: true
           - name: cri-dockerd                                 
             mountPath: /var/run/cri-dockerd.sock
             readOnly: true
           - name: containerd                             
             mountPath: /run/containerd
             readOnly: true
           - name: isulad                                
             mountPath: /run/isulad.sock
             readOnly: true
   ...
         volumes:
   ...
           - name: docker-shim                             
             hostPath:
               path: /var/run/dockershim.sock
           - name: docker                                # 仅使用containerd时删除
             hostPath:
               path: /var/run/docker
           - name: cri-dockerd                           
             hostPath:
               path: /var/run/cri-dockerd.sock
           - name: containerd                            
             hostPath:
               path: /run/containerd
           - name: isulad                               
             hostPath:
               path: /run/isulad.sock
   
   ...

   • Docker场景：删除原有容器运行时的挂载文件，新增dockershim.sock文件的挂载目录，并对以下加粗的代码进行修改。

   如果使用的NPU Exporter启动参数“-containerMode=containerd”，可跳过本步骤。

   

   该步骤可有效解决kubelet重启后，造成的NPU-Exporter数据丢失问题。新增挂载目录后，会同时新增很多挂载文件，如docker.sock，有容器逃逸的风险。

   ...
           volumeMounts:
             - name: log-npu-exporter
   ...
             - name: sys
               mountPath: /sys
               readOnly: true
             - name: docker-shim                        # 删除以下加粗字段
               mountPath: /var/run/dockershim.sock
               readOnly: true
             - name: docker 
               mountPath: /var/run/docker
               readOnly: true
             - name: cri-dockerd 
               mountPath: /var/run/cri-dockerd.sock
               readOnly: true
             - name: sock                   # 新增以下加粗字段
               mountPath: /var/run        # 以实际的dockershim.sock文件目录为准
             - name: containerd  
               mountPath: /run/containerd
   ...
         volumes:
           - name: log-npu-exporter
   ...
           - name: sys
             hostPath:
               path: /sys
           - name: docker-shim                    # 删除以下加粗字段
             hostPath:   
               path: /var/run/dockershim.sock
           - name: docker 
             hostPath:
               path: /var/run/docker
           - name: cri-dockerd 
             hostPath:
               path: /var/run/cri-dockerd.sock
           - name: sock                 # 新增以下加粗字段
             hostPath:
               path: /var/run                    # 以实际的dockershim.sock文件目录为准
           - name: containerd  
             hostPath:
               path: /run/containerd
    ...

4. 如不修改组件的其他启动参数，可跳过本步骤。否则，请根据实际情况修改YAML文件中NPU Exporter的启动参数。启动参数如表2所示，也可执行./npu-exporter -h查看参数说明。
5. 在管理节点的YAML所在路径，执行以下命令，启动NPU Exporter。如果集群中同时存在Atlas 200I SoC A1 核心板和其他类型的节点，请分别执行对应命令。
   • K8s集群中使用Atlas 200I SoC A1 核心板节点，执行以下命令。

     kubectl apply -f npu-exporter-310P-1usoc-v{version}.yaml

   • K8s集群中使用除Atlas 200I SoC A1 核心板外的其他类型节点，执行以下命令。

     kubectl apply -f npu-exporter-v{version}.yaml

   启动示例如下：

   namespace/npu-exporter unchanged
   networkpolicy.networking.K8s.io/exporter-network-policy unchanged
   daemonset.apps/npu-exporter created

6. 在任意节点执行以下命令，查看组件是否启动成功。

   kubectl get pod -n npu-exporter

   回显示例如下，出现Running表示组件启动成功。若状态为CrashLoopBackOff，可能是因为目录权限不正确导致，可以参见NPU Exporter检查动态路径失败，日志出现check uid or mode failed章节进行处理。

   1 2 3

   NAME READY STATUS RESTARTS AGE ... npu-exporter-hqpxl 1/1 Running 0 11s

   

   • NPU Exporter的使用对进程环境有要求，以容器形式运行时，请确保“/sys”目录和容器运行时通信socket文件挂载至NPU Exporter容器中。若通过调用NPU Exporter的Metrics接口，没有获取到NPU容器的相关信息，该问题可能是因为socket文件路径不正确导致，可以参见日志出现connecting to container runtime failed章节进行处理。
   • 安装组件后，组件的Pod状态不为Running，可参考组件Pod状态不为Running章节进行处理。
   • 安装组件后，组件的Pod状态为ContainerCreating，可参考集群调度组件Pod处于ContainerCreating状态章节进行处理。
   • 启动组件失败，可参考启动集群调度组件失败，日志打印“get sem errno =13”章节信息。
   • 组件启动成功，找不到组件对应的Pod，可参考组件启动yaml执行成功，找不到组件对应的Pod章节信息。

二进制方式运行

NPU Exporter组件以容器化方式运行时需使用特权容器、root用户和挂载了docker-shim或Containerd的socket文件，如果容器被人恶意利用，有容器逃逸风险。当安全性要求较高时，请直接在物理机上通过二进制方式运行。

以二进制方式运行NPU Exporter需要将日志目录权限修改为非root，可以执行chown hwMindX:hwMindX /var/log/mindx-dl/npu-exporter命令修改日志权限。

1. 使用root用户登录服务器。
2. 将软件包上传至服务器的任意目录（如“/home/ascend-npu-exporter”）并进行解压操作。
3. 创建并编辑npu-exporter.service文件。
   1. 执行以下命令，创建npu-exporter.service文件。

      vi /home/ascend-npu-exporter/npu-exporter.service

   2. 参考如下内容，写入npu-exporter.service文件中。

      [Unit]
      Description=Ascend npu exporter
      Documentation=hiascend.com
      
      [Service]
      ExecStart=/bin/bash -c "/usr/local/bin/npu-exporter -ip=127.0.0.1 -port=8082 -logFile=/var/log/mindx-dl/npu-exporter/npu-exporter.log>/dev/null  2>&1 &"
      Restart=always
      RestartSec=2
      KillMode=process
      Environment="GOGC=50"
      Environment="GOMAXPROCS=2"
      Environment="GODEBUG=madvdontneed=1"
      Type=forking
      User=hwMindX
      Group=hwMindX
      
      [Install]
      WantedBy=multi-user.target

   3. 按“Esc”键，输入:wq!保存并退出。
4. 创建并编辑npu-exporter.timer文件。通过配置timer延时启动，可保证NPU Exporter启动时NPU卡已就位。
   1. 执行以下命令，创建npu-exporter.timer文件。

       vi /home/ascend-npu-exporter/npu-exporter.timer

   2. 参考以下示例，并将其写入npu-exporter.timer文件中。

      [Unit]
      Description=Timer for NPU Exporter Service
      
      [Timer]
      OnBootSec=60s            # 设置NPU Exporter延时启动时间，请根据实际情况调整
      Unit=npu-exporter.service
      
      [Install]
      WantedBy=timers.target

   3. 按“Esc”键，输入:wq!保存并退出。
5. NPU Exporter默认情况只侦听127.0.0.1，可通过修改的启动参数“-ip”和“npu-exporter.service”文件的“ExecStart”字段修改需要侦听的IP地址。

   ...
   [Service]
   ExecStart=/bin/bash -c "/usr/local/bin/npu-exporter -ip=127.0.0.1 -port=8082 -logFile=/var/log/mindx-dl/npu-exporter/npu-exporter.log &"
   Restart=always
   RestartSec=2
   ...

6. 依次执行以下命令，在节点上将hwMindX用户加入到HwBaseUser、HwDmUser用户组中。如果部署节点为Atlas 200I SoC A1 核心板，可跳过该步骤。

   usermod -a -G HwBaseUser hwMindX
   usermod -a -G HwDmUser hwMindX

7. 依次执行以下命令，启用NPU Exporter服务。

   cd /home/ascend-npu-exporter
   cp npu-exporter /usr/local/bin
   cp npu-exporter.service /etc/systemd/system
   chattr +i /etc/systemd/system/npu-exporter.service
   cp npu-exporter.timer /etc/systemd/system     
   chattr +i /etc/systemd/system/npu-exporter.timer      
   chmod 500 /usr/local/bin/npu-exporter
   chown hwMindX:hwMindX /usr/local/bin/npu-exporter
   chattr +i /usr/local/bin/npu-exporter
   systemctl enable npu-exporter.timer 
   systemctl start npu-exporter
   systemctl start npu-exporter.timer

   

   如果需要获取容器相关数据信息，NPU Exporter需要临时提权以便于和CRI、OCI的socket建立连接，需要执行以下命令。

   chattr -i /usr/local/bin/npu-exporter
   setcap cap_setuid+ep /usr/local/bin/npu-exporter
   chattr +i /usr/local/bin/npu-exporter
   systemctl restart npu-exporter

参数说明