Ascend Device Plugin

使用约束

在安装MindCluster Ascend Device Plugin前，需要提前了解相关约束，具体说明请参见表1。

操作步骤

1. 以root用户登录各计算节点，并执行以下命令查看镜像和版本号是否正确。

   docker images | grep k8sdeviceplugin

   回显示例如下：

   ascend-k8sdeviceplugin               v6.0.RC2              29eec79eb693        About an hour ago   105MB

   • 是，执行2。
   • 否，请参见准备镜像，完成镜像制作和分发。

2. 将MindCluster Ascend Device Plugin软件包解压目录下的yaml文件，拷贝到K8s管理节点上任意目录。请注意此处需使用适配具体处理器型号的yaml文件，并且为了避免自动识别MindCluster Ascend Docker Runtime功能出现异常，请勿修改yaml文件中DaemonSet.metadata.name字段，详见下表。

   表2 MindCluster Ascend Device Plugin的yaml文件列表

   yaml文件列表	说明
   device-plugin-310-v{version}.yaml	推理服务器（插Atlas 300I 推理卡）上不使用MindCluster Volcano的配置文件。
   device-plugin-310-volcano-v{version}.yaml	推理服务器（插Atlas 300I 推理卡）上使用MindCluster Volcano的配置文件。
   device-plugin-310P-1usoc-v{version}.yaml	Atlas 200I SoC A1 核心板上不使用MindCluster Volcano的配置文件。
   device-plugin-310P-1usoc-volcano-v{version}.yaml	Atlas 200I SoC A1 核心板上使用MindCluster Volcano的配置文件。
   device-plugin-310P-v{version}.yaml	Atlas 推理系列产品上不使用MindCluster Volcano的配置文件。
   device-plugin-310P-volcano-v{version}.yaml	Atlas 推理系列产品上使用MindCluster Volcano的配置文件。
   device-plugin-910-v{version}.yaml	Atlas 训练系列产品、Atlas A2 训练系列产品或Atlas 800I A2 推理服务器上不使用MindCluster Volcano的配置文件。
   device-plugin-volcano-v{version}.yaml	Atlas 训练系列产品、Atlas A2 训练系列产品或Atlas 800I A2 推理服务器上使用MindCluster Volcano的配置文件。

3. 如不修改组件启动参数，可跳过本步骤。否则，根据实际情况修改MindCluster Ascend Device Plugin的启动参数。启动参数请参见表3，可执行./device-plugin -h查看参数说明。
   • 在Atlas 200I SoC A1 核心板节点上，修改启动脚本“run_for_310P_1usoc.sh”中MindCluster Ascend Device Plugin的启动参数。修改完后需在所有Atlas 200I SoC A1 核心板节点上重新制作镜像，或者将本节点镜像重新制作后分发到其余所有Atlas 200I Soc A1 核心板节点。
     

     如果不使用MindCluster Volcano作为调度器，在启动MindCluster Ascend Device Plugin的时候，需要修改“run_for_310P_1usoc.sh”中MindCluster Ascend Device Plugin的启动参数，将“-volcanoType”参数设置为false。

   • 其他类型节点，修改对应启动yaml文件中MindCluster Ascend Device Plugin的启动参数。

4. （可选）使用断点续训或弹性训练时，根据需要使用的故障处理模式，修改MindCluster Ascend Device Plugin组件的启动yaml。

   ...
         containers:
         - image: ascend-k8sdeviceplugin:v6.0.RC2
           name: device-plugin-01
           resources:
             requests:
               memory: 500Mi
               cpu: 500m
             limits:
               memory: 500Mi
               cpu: 500m
           command: [ "/bin/bash", "-c", "--"]
           args: [ "device-plugin  
                    -useAscendDocker=true 
                    -volcanoType=true                    # 重调度场景下必须使用MindCluster Volcano
                    -autoStowing=true                    # 是否开启自动纳管开关，默认为true；设置为false代表关闭自动纳管，当芯片健康状态由unhealth变为health后，不会自动加入到可调度资源池中；关闭自动纳管，当芯片参数面网络故障恢复后，不会自动加入到可调度资源池中。该特性仅适用于Atlas 训练系列产品
                    -listWatchPeriod=5                   # 健康状态检查周期，范围[3,60]；默认5秒
                    -hotReset=1 # 使用断点续训时，可以在重调度的基础上，开启热复位功能，使用优雅容错模式
                    -logFile=/var/log/mindx-dl/devicePlugin/devicePlugin.log 
                    -logLevel=0" ]
           securityContext:
             privileged: true
             readOnlyRootFilesystem: true
   ...

5. （可选）使用推理卡故障恢复时，需要配置热复位功能。

         containers:
         - image: ascend-k8sdeviceplugin:v6.0.RC2
           name: device-plugin-01
           resources:
             requests:
               memory: 500Mi
               cpu: 500m
             limits:
               memory: 500Mi
               cpu: 500m
           command: [ "/bin/bash", "-c", "--"]
           args: [ "device-plugin  
   ...
                    -hotReset=0 # 使用推理卡故障恢复时，开启热复位功能
                    -logFile=/var/log/mindx-dl/devicePlugin/devicePlugin.log 
                    -logLevel=0" ]
   ...

6. 在K8s管理节点上各yaml对应路径下执行以下命令，启动MindCluster Ascend Device Plugin。
   • K8s集群中存在使用Atlas A2 训练系列产品、Atlas 训练系列产品或Atlas 800I A2 推理服务器的节点（MindCluster Ascend Device Plugin独立工作，不配合MindCluster Volcano和MindCluster HCCL Controller使用）。

     kubectl apply -f device-plugin-910-v{version}.yaml

   • K8s集群中存在使用Atlas A2 训练系列产品、Atlas 训练系列产品或Atlas 800I A2 推理服务器的节点（配合MindCluster Volcano和MindCluster HCCL Controller使用，支持虚拟化实例，yaml默认开启静态虚拟化）。

     kubectl apply -f device-plugin-volcano-v{version}.yaml

   • K8s集群中存在使用推理服务器（插Atlas 300I 推理卡）的节点（MindCluster Ascend Device Plugin独立工作，不使用MindCluster Volcano调度器）。

     kubectl apply -f device-plugin-310-v{version}.yaml

   • K8s集群中存在使用推理服务器（插Atlas 300I 推理卡）的节点（使用MindCluster Volcano调度器）。

     kubectl apply -f device-plugin-310-volcano-v{version}.yaml

   • K8s集群中存在使用Atlas 推理系列产品的节点（MindCluster Ascend Device Plugin独立工作，不使用MindCluster Volcano调度器）。

     kubectl apply -f device-plugin-310P-v{version}.yaml

   • K8s集群中存在使用Atlas 推理系列产品的节点（使用MindCluster Volcano调度器，支持虚拟化实例，yaml默认开启静态虚拟化）。

     kubectl apply -f device-plugin-310P-volcano-v{version}.yaml

   • K8s集群中存在使用Atlas 200I SoC A1 核心板的节点（使用MindCluster Volcano调度器）。

     kubectl apply -f device-plugin-310P-1usoc-volcano-v{version}.yaml

   • K8s集群中存在使用Atlas 200I SoC A1 核心板的节点（MindCluster Ascend Device Plugin独立工作，不使用MindCluster Volcano调度器）。

     kubectl apply -f device-plugin-310P-1usoc-v{version}.yaml

   

   如果K8s集群使用了多种类型的昇腾AI处理器，请分别执行对应命令。

   启动示例如下：

   serviceaccount/ascend-device-plugin-sa created
   clusterrole.rbac.authorization.K8s.io/pods-node-ascend-device-plugin-role created
   clusterrolebinding.rbac.authorization.K8s.io/pods-node-ascend-device-plugin-rolebinding created
   daemonset.apps/ascend-device-plugin-daemonset created

7. 执行以下命令，查看组件是否启动成功。

   kubectl get pod -n kube-system

   回显示例如下，出现Running表示组件启动成功。

   NAME                                       READY   STATUS    RESTARTS   AGE
   ...
   ascend-device-plugin-daemonset-d5ctz       1/1     Running   0          11s
   ...

• 安装组件后，组件的Pod状态不为Running，可参考组件Pod状态不为Running章节进行处理。
• 安装组件后，组件的Pod状态为ContainerCreating，可参考集群调度组件Pod处于ContainerCreating状态章节进行处理。
• 启动组件失败，可参考启动集群调度组件失败，日志打印“get sem errno =13”章节信息。
• 组件启动成功，找不到组件对应的Pod，可参考组件启动yaml执行成功，找不到组件对应的Pod章节信息。

参数说明