Ascend Device Plugin

使用约束

在安装Ascend Device Plugin前，需要提前了解相关约束，具体说明请参见表1。

操作步骤

1. 以root用户登录各计算节点，并执行以下命令查看镜像和版本号是否正确。

   docker images | grep k8sdeviceplugin

   回显示例如下：

   1	ascend-k8sdeviceplugin v7.0.RC1 29eec79eb693 About an hour ago 105MB

   • 是，执行2。
   • 否，请参见准备镜像，完成镜像制作和分发。
2. 将Ascend Device Plugin软件包解压目录下的YAML文件，拷贝到K8s管理节点上任意目录。请注意此处需使用适配具体处理器型号的YAML文件，并且为了避免自动识别Ascend Docker Runtime功能出现异常，请勿修改YAML文件中DaemonSet.metadata.name字段，详见下表。

   表2 Ascend Device Plugin的YAML文件列表

   YAML文件列表	说明
   device-plugin-310-v{version}.yaml	推理服务器（插Atlas 300I 推理卡）上不使用Volcano的配置文件。
   device-plugin-310-volcano-v{version}.yaml	推理服务器（插Atlas 300I 推理卡）上使用Volcano的配置文件。
   device-plugin-310P-1usoc-v{version}.yaml	Atlas 200I SoC A1 核心板上不使用Volcano的配置文件。
   device-plugin-310P-1usoc-volcano-v{version}.yaml	Atlas 200I SoC A1 核心板上使用Volcano的配置文件。
   device-plugin-310P-v{version}.yaml	Atlas 推理系列产品上不使用Volcano的配置文件。
   device-plugin-310P-volcano-v{version}.yaml	Atlas 推理系列产品上使用Volcano的配置文件。
   device-plugin-910-v{version}.yaml	Atlas 训练系列产品、Atlas A2 训练系列产品、Atlas A3 训练系列产品或Atlas 800I A2 推理服务器、A200I A2 Box 异构组件上不使用Volcano的配置文件。
   device-plugin-volcano-v{version}.yaml	Atlas 训练系列产品、Atlas A2 训练系列产品、Atlas A3 训练系列产品或Atlas 800I A2 推理服务器、A200I A2 Box 异构组件上使用Volcano的配置文件。

3. 如不修改组件启动参数，可跳过本步骤。否则，根据实际情况修改Ascend Device Plugin的启动参数。启动参数请参见表3，可执行./device-plugin -h查看参数说明。
   • 在Atlas 200I SoC A1 核心板节点上，修改启动脚本“run_for_310P_1usoc.sh”中Ascend Device Plugin的启动参数。修改完后需在所有Atlas 200I SoC A1 核心板节点上重新制作镜像，或者将本节点镜像重新制作后分发到其余所有Atlas 200I SoC A1 核心板节点。
     

     如果不使用Volcano作为调度器，在启动Ascend Device Plugin的时候，需要修改“run_for_310P_1usoc.sh”中Ascend Device Plugin的启动参数，将“-volcanoType”参数设置为false。

   • 其他类型节点，修改对应启动YAML文件中Ascend Device Plugin的启动参数。
4. （可选）使用断点续训（包括进程级恢复）或弹性训练时，根据需要使用的故障处理模式，修改Ascend Device Plugin组件的启动YAML。

   ...
         containers:
         - image: ascend-k8sdeviceplugin:v7.0.RC1
           name: device-plugin-01
           resources:
             requests:
               memory: 500Mi
               cpu: 500m
             limits:
               memory: 500Mi
               cpu: 500m
           command: [ "/bin/bash", "-c", "--"]
           args: [ "device-plugin  
                    -useAscendDocker=true 
                    -volcanoType=true                    # 重调度场景下必须使用Volcano
                    -autoStowing=true                    # 是否开启自动纳管开关，默认为true；设置为false代表关闭自动纳管，当芯片健康状态由unhealthy变为healthy后，不会自动加入到可调度资源池中；关闭自动纳管，当芯片参数面网络故障恢复后，不会自动加入到可调度资源池中。该特性仅适用于Atlas 训练系列产品
                    -listWatchPeriod=5                   # 健康状态检查周期，范围[3,60]；默认5秒
                    -hotReset=1 # 使用断点续训时，可以在重调度的基础上，开启热复位功能，使用优雅容错模式；使用进程级恢复时，请将hotReset参数值设置为2，开启离线恢复模式
                    -logFile=/var/log/mindx-dl/devicePlugin/devicePlugin.log 
                    -logLevel=0" ]
           securityContext:
             privileged: true
             readOnlyRootFilesystem: true
   ...

5. （可选）使用推理卡故障恢复时，需要配置热复位功能。

         containers:
         - image: ascend-k8sdeviceplugin:v7.0.RC1
           name: device-plugin-01
           resources:
             requests:
               memory: 500Mi
               cpu: 500m
             limits:
               memory: 500Mi
               cpu: 500m
           command: [ "/bin/bash", "-c", "--"]
           args: [ "device-plugin  
   ...
                    -hotReset=0 # 使用推理卡故障恢复时，开启热复位功能
                    -logFile=/var/log/mindx-dl/devicePlugin/devicePlugin.log 
                    -logLevel=0" ]
   ...

6. （可选）如需更改kubelet的默认端口，则需要修改Ascend Device Plugin组件的启动YAML。示例如下。

     env:
        - name: NODE_NAME
          valueFrom:
            fieldRef:
              fieldPath: spec.nodeName
        - name: HOST_IP
          valueFrom:
            fieldRef:
              fieldPath: status.hostIP
        - name: KUBELET_PORT   # 通知Ascend Device Plugin组件当前节点kubelet默认端口号，若未自定义kubelet默认端口号则无需传入本字段
          value: "10251"      
   volumes:
      - name: device-plugin
        hostPath:
          path: /var/lib/kubelet/device-plugins
   ...

7. 在K8s管理节点上各YAML对应路径下执行以下命令，启动Ascend Device Plugin。
   • K8s集群中存在使用Atlas 训练系列产品、Atlas A2 训练系列产品、Atlas A3 训练系列产品或Atlas 800I A2 推理服务器、A200I A2 Box 异构组件的节点（配合Volcano使用，支持虚拟化实例，YAML默认开启静态虚拟化）。

     kubectl apply -f device-plugin-volcano-v{version}.yaml

   • K8s集群中存在使用Atlas 训练系列产品、Atlas A2 训练系列产品、Atlas A3 训练系列产品或Atlas 800I A2 推理服务器、A200I A2 Box 异构组件的节点（Ascend Device Plugin独立工作，不配合Volcano使用）。

     kubectl apply -f device-plugin-910-v{version}.yaml

   • K8s集群中存在使用推理服务器（插Atlas 300I 推理卡）的节点（使用Volcano调度器）。

     kubectl apply -f device-plugin-310-volcano-v{version}.yaml

   • K8s集群中存在使用推理服务器（插Atlas 300I 推理卡）的节点（Ascend Device Plugin独立工作，不使用Volcano调度器）。

     kubectl apply -f device-plugin-310-v{version}.yaml

   • K8s集群中存在使用Atlas 推理系列产品的节点（使用Volcano调度器，支持虚拟化实例，YAML默认开启静态虚拟化）。

     kubectl apply -f device-plugin-310P-volcano-v{version}.yaml

   • K8s集群中存在使用Atlas 推理系列产品的节点（Ascend Device Plugin独立工作，不使用Volcano调度器）。

     kubectl apply -f device-plugin-310P-v{version}.yaml

   • K8s集群中存在使用Atlas 200I SoC A1 核心板的节点（使用Volcano调度器）。

     kubectl apply -f device-plugin-310P-1usoc-volcano-v{version}.yaml

   • K8s集群中存在使用Atlas 200I SoC A1 核心板的节点（Ascend Device Plugin独立工作，不使用Volcano调度器）。

     kubectl apply -f device-plugin-310P-1usoc-v{version}.yaml

   

   如果K8s集群使用了多种类型的昇腾AI处理器，请分别执行对应命令。

   启动示例如下：

   serviceaccount/ascend-device-plugin-sa created
   clusterrole.rbac.authorization.K8s.io/pods-node-ascend-device-plugin-role created
   clusterrolebinding.rbac.authorization.K8s.io/pods-node-ascend-device-plugin-rolebinding created
   daemonset.apps/ascend-device-plugin-daemonset created

8. 在任意节点执行以下命令，查看组件是否启动成功。

   kubectl get pod -n kube-system

   回显示例如下，出现Running表示组件启动成功。

   1 2 3 4

   NAME READY STATUS RESTARTS AGE ... ascend-device-plugin-daemonset-d5ctz 1/1 Running 0 11s ...

• 安装组件后，组件的Pod状态不为Running，可参考组件Pod状态不为Running章节进行处理。
• 安装组件后，组件的Pod状态为ContainerCreating，可参考集群调度组件Pod处于ContainerCreating状态章节进行处理。
• 启动组件失败，可参考启动集群调度组件失败，日志打印“get sem errno =13”章节信息。
• 组件启动成功，找不到组件对应的Pod，可参考组件启动yaml执行成功，找不到组件对应的Pod章节信息。

参数说明