NPU Exporter

使用约束

在安装MindCluster NPU Exporter前，需要提前了解相关约束，具体说明请参见表1。

操作步骤

MindCluster NPU Exporter支持两种安装方式，用户可根据实际情况选择其中一种进行安装。该组件仅提供HTTP服务，如需使用更为安全的HTTPS服务，请自行修改源码进行适配。

• （推荐）以容器化方式运行，安装步骤参见容器化方式安装。
• 当安全要求较高时，建议在物理机上以二进制方式运行，安装步骤参见二进制方式安装。

容器化方式安装

1. 以root用户登录各计算节点，并执行以下命令，查看MindCluster NPU Exporter镜像和版本号是否正确。

   docker images | grep npu-exporter

   回显示例如下：

   npu-exporter                         v6.0.RC2             20185c45f1bc        About an hour ago         90.1MB

   • 是，执行步骤2。
   • 否，请参见准备镜像，完成镜像制作和分发。

2. 将MindCluster NPU Exporter软件包解压目录下的yaml文件，拷贝到K8s管理节点上任意目录。
3. 如果使用默认的MindCluster NPU Exporter启动参数“-containerMode=docker”，可跳过本步骤。

   如果是Containerd场景，需要将containerMode设置为containerd，即“-containerMode=containerd”。

   apiVersion: apps/v1
   kind: DaemonSet
   metadata:
     name: npu-exporter
     namespace: npu-exporter
   spec:
     selector:
       matchLabels:
         app: npu-exporter
   ...
       spec:
   ...
           volumeMounts:
   ...
             - name: docker-shim                                        # 仅使用containerd时需要删除
               mountPath: /var/run/dockershim.sock
               readOnly: true
             - name: docker                                       # 仅使用containerd时删除
               mountPath: /var/run/docker
               readOnly: true
              - name: cri-dockerd                                 # 当k8s版本为1.24+且容器运行时为docker时保留
                mountPath: /var/run/cri-dockerd.sock
                readOnly: true
               - name: containerd                             
                  mountPath: /run/containerd
                  readOnly: true
               - name: isulad                                # 使用containerd或者docker时删除
                  mountPath: /run/isulad.sock
                  readOnly: true
   ...
         volumes:
   ...
           - name: docker-shim                             # 仅使用containerd时删除
             hostPath:
               path: /var/run/dockershim.sock
           - name: docker                                # 仅使用containerd时删除
             hostPath:
               path: /var/run/docker
            - name: cri-dockerd                           # 当k8s版本为1.24+且容器运行时为docker时保留
              hostPath:
                path: /var/run/cri-dockerd.sock
            - name: containerd                            
               hostPath:
               path: /run/containerd
           - name: isulad                                # 使用containerd或者docker时删除
              hostPath:
               path: /run/isulad.sock
   
   ...

4. （可选）删除原有容器运行时的挂载文件，新增dockershim.sock文件的挂载目录。
   

   该步骤可有效解决kubelet重启后，造成的MindCluster NPU Exporter数据丢失问题。新增挂载目录后，会同时新增很多挂载文件，如docker.sock，有容器逃逸的风险。

   ...
           volumeMounts:
             - name: log-npu-exporter
   ...
             - name: sys
               mountPath: /sys
               readOnly: true
             - name: docker-shim                        # 删除以下加粗字段
               mountPath: /var/run/dockershim.sock
               readOnly: true
             - name: docker 
               mountPath: /var/run/docker
               readOnly: true
             - name: cri-dockerd 
               mountPath: /var/run/cri-dockerd.sock
               readOnly: true
             - name: sock                   新增以下加粗字段
               mountPath: /var/run        # 以实际的dockershim.sock文件目录为准
             - name: containerd  
               mountPath: /run/containerd
   ...
         volumes:
           - name: log-npu-exporter
   ...
           - name: sys
             hostPath:
               path: /sys
           - name: docker-shim                    # 删除以下加粗字段
             hostPath:   
               path: /var/run/dockershim.sock
           - name: docker 
             hostPath:
               path: /var/run/docker
           - name: cri-dockerd 
             hostPath:
               path: /var/run/cri-dockerd.sock
           - name: sock                 # 新增以下加粗字段
             hostPath:
               path: /var/run                    # 以实际的dockershim.sock文件目录为准
           - name: containerd  
             hostPath:
               path: /run/containerd
    ...

5. 如不修改组件的其他启动参数，可跳过本步骤。否则，请根据实际情况修改yaml文件中MindCluster NPU Exporter的启动参数。启动参数如表2所示，也可执行./npu-exporter -h查看参数说明。
6. 在管理节点的yaml所在路径，执行以下命令，启动MindCluster NPU Exporter。如果集群中同时存在Atlas 200I SoC A1 核心板和其他类型的节点，请分别执行对应命令。
   • K8s集群中使用Atlas 200I SoC A1 核心板节点，执行以下命令。

     kubectl apply -f npu-exporter-310P-1usoc-v{version}.yaml

   • K8s集群中使用除Atlas 200I SoC A1 核心板外的其他类型节点，执行以下命令。

     kubectl apply -f npu-exporter-v{version}.yaml

   启动示例如下：

   namespace/npu-exporter unchanged
   networkpolicy.networking.K8s.io/exporter-network-policy unchanged
   daemonset.apps/npu-exporter created

7. 执行以下命令，查看组件是否启动成功。

   kubectl get pod -n npu-exporter

   回显示例如下，出现Running表示组件启动成功。若状态为CrashLoopBackOff，可能是因为目录权限不正确导致，可以参见NPU Exporter检查动态路径失败，日志出现check uid or mode failed章节进行处理。

   NAME                            READY   STATUS    RESTARTS   AGE
   ...
   npu-exporter-hqpxl              1/1     Running   0          11s

   

   • MindCluster NPU Exporter的使用对进程环境有要求，以容器形式运行时，请确保“/sys”目录和容器运行时通信socket文件挂载至MindCluster NPU Exporter容器中。若通过调用MindCluster NPU Exporter的Metrics接口，没有获取到NPU容器的相关信息，该问题可能是因为socket文件路径不正确导致，可以参见日志出现connecting to container runtime failed章节进行处理。
   • 安装组件后，组件的Pod状态不为Running，可参考组件Pod状态不为Running章节进行处理。
   • 安装组件后，组件的Pod状态为ContainerCreating，可参考集群调度组件Pod处于ContainerCreating状态章节进行处理。
   • 启动组件失败，可参考启动集群调度组件失败，日志打印“get sem errno =13”章节信息。
   • 组件启动成功，找不到组件对应的Pod，可参考组件启动yaml执行成功，找不到组件对应的Pod章节信息。

二进制方式安装

MindCluster NPU Exporter组件以容器化方式运行时需使用特权容器、root用户和挂载了docker-shim或Containerd的socket文件，如果容器被人恶意利用，有容器逃逸风险。当安全性要求较高时，请直接在物理机上通过二进制方式运行。

以二进制方式运行MindCluster NPU Exporter需要将日志目录权限修改为非root，可以执行chown hwMindX:hwMindX /var/log/mindx-dl/npu-exporter命令修改日志权限。

1. 使用root用户登录服务器。
2. 将软件包上传至服务器的任意目录（如“/home/ascend-npu-exporter”）并进行解压操作。
3. 执行以下命令，创建npu-exporter.service文件。

   vi /home/ascend-npu-exporter/npu-exporter.service

4. 参考如下内容，写入npu-exporter.service文件中。

   [Unit]
   Description=Ascend npu exporter
   Documentation=hiascend.com
   
   [Service]
   ExecStart=/bin/bash -c "/usr/local/bin/npu-exporter -ip=127.0.0.1 -port=8082 -logFile=/var/log/mindx-dl/npu-exporter/npu-exporter.log>/dev/null  2>&1 &"
   Restart=always
   RestartSec=2
   KillMode=process
   Environment="GOGC=50"
   Environment="GOMAXPROCS=2"
   Environment="GODEBUG=madvdontneed=1"
   Type=forking
   User=hwMindX
   Group=hwMindX
   
   [Install]
   WantedBy=multi-user.target

5. MindCluster NPU Exporter默认情况只侦听127.0.0.1，可通过修改的启动参数“-ip”和“npu-exporter.service”文件的“ExecStart”字段修改需要侦听的IP地址。

   ...
   [Service]
   ExecStart=/bin/bash -c "/usr/local/bin/npu-exporter -ip=127.0.0.1 -port=8082 -logFile=/var/log/mindx-dl/npu-exporter/npu-exporter.log &"
   Restart=always
   RestartSec=2
   ...

6. 依次执行以下命令，在节点上将hwMindX用户加入到HwBaseUser、HwDmUser用户组中。如果部署节点为Atlas 200I SoC A1 核心板，可跳过该步骤。

   usermod -a -G HwBaseUser hwMindX
   usermod -a -G HwDmUser hwMindX

7. 依次执行以下命令，启用MindCluster NPU Exporter服务。

   cd /home/ascend-npu-exporter
   cp npu-exporter /usr/local/bin
   cp npu-exporter.service /etc/systemd/system
   chattr +i /etc/systemd/system/npu-exporter.service
   chmod 500 /usr/local/bin/npu-exporter
   chown hwMindX:hwMindX /usr/local/bin/npu-exporter
   chattr +i /usr/local/bin/npu-exporter
   systemctl enable npu-exporter
   systemctl start npu-exporter

   

   如果需要获取容器相关指标，MindCluster NPU Exporter需要临时提权以便于和CRI、OCI的socket建立连接，需要执行以下命令。

   chattr -i /usr/local/bin/npu-exporter
   setcap cap_setuid+ep /usr/local/bin/npu-exporter
   chattr +i /usr/local/bin/npu-exporter
   systemctl restart npu-exporter

参数说明