安装Volcano

操作步骤

1. 以root用户登录K8s管理节点，并执行以下命令，查看Volcano镜像和版本号是否正确。

   docker images | grep volcanosh

   回显示例如下。

   volcanosh/vc-controller-manager      v1.4.0              84c73128cc55        3 days ago          44.5MB
   volcanosh/vc-scheduler               v1.4.0              e90c114c75b1        3 days ago          188MB

   • 是，执行步骤2。
   • 否，请参见准备镜像，完成镜像制作。
2. 将Volcano软件包解压目录（以“/home/ascend-volcano”为例）下的YAML文件拷贝到K8s管理节点上任意目录（以“/home/ascend-volcano”为例）。如果Volcano软件包在K8s管理节点上解压，可以不用进行拷贝操作。

   cd /home/ascend-volcano
   scp root@{软件包解压节点IP地址}:/home/ascend-volcano/volcano-v{version}.yaml ./

3. 如不修改组件启动参数，可跳过本步骤。否则，请根据实际情况修改对应启动YAML文件中Volcano的启动参数。常用启动参数请参见表1和表2。
4. 配置Volcano日志转储。
   安装过程中，Volcano日志将外挂到磁盘空间（“/var/log/mindx-dl”），为防止空间被占满，请为Volcano配置日志转储，配置项信息参见表3。

   1. 在管理节点“/etc/logrotate.d”目录下，执行以下命令，创建日志转储配置文件。

      vi /etc/logrotate.d/文件名

      例如：

      vi /etc/logrotate.d/volcano

      写入以下内容，然后执行:wq命令保存。

      /var/log/mindx-dl/volcano-*/*.log{    
           daily     
           rotate 8     
           size 50M     
           compress     
           dateext     
           missingok     
           notifempty     
           copytruncate     
           create 0640 hwMindX hwMindX     
           sharedscripts     
           postrotate         
               chmod 640 /var/log/mindx-dl/volcano-*/*.log                
               chmod 440 /var/log/mindx-dl/volcano-*/*.log-*            
           endscript 
      }

   2. 依次执行以下命令，设置配置文件权限为640，属主为root。

      chmod 640 /etc/logrotate.d/文件名
      chown root /etc/logrotate.d/文件名

      例如：

      chmod 640 /etc/logrotate.d/volcano
      chown root /etc/logrotate.d/volcano

5. （可选）在“volcano-v{version}.yaml”中，配置Volcano所需的CPU和内存。CPU和内存推荐值可以参见开源Volcano官方文档的表2volcano-controller和volcano-scheduler的建议值。

   ...
   kind: Deployment
   ...
     labels:
       app: volcano-scheduler
   spec:
     replicas: 1
   ...
       spec:
   ...
             imagePullPolicy: "IfNotPresent"
             resources:
               requests:
                 memory: 300Mi
                 cpu: 500m
               limits:
                 memory: 300Mi
                 cpu: 500m
   ...
   kind: Deployment
   ...
     labels:
       app: volcano-controller
   spec:
   ...
       spec:
   ...
             resources:
               requests:
                 memory: 3Gi
                 cpu: 500m
               limits:
                 memory: 3Gi
                 cpu: 500m
   ...

6. （可选）在“volcano-v{version}.yaml”中，配置Volcano所使用的插件。请参见开源Volcano官方文档中表3Volcano高级配置参数说明和表4支持的Plugins列表的说明进行操作。

   ...
   data:
     volcano-scheduler.conf: |
       actions: "enqueue, allocate, backfill"
       tiers:
       - plugins:
         - name: priority
         - name: gang
         - name: conformance
         - name: volcano-npu_v5.0.1.1_linux-aarch64  # 其中v5.0.1.1为MindX DL的版本号，根据不同版本，该处编码不同。
       - plugins:
         - name: drf
         - name: predicates
         - name: proportion
         - name: nodeorder
         - name: binpack

7. （可选）在“volcano-v{version}.yaml”中，配置节点类型标签。

   ...
   data:
     volcano-scheduler.conf: |
   ...
       configurations:
         - name: selector
           arguments: {"host-arch":"huawei-arm|huawei-x86",
           "accelerator":"huawei-Ascend910|nvidia-tesla-v100|nvidia-tesla-p40",
           "accelerator-type":"card|module|half|module-{xxx}b-16|module-{xxx}b-8|card-{xxx}b-2","servertype":"soc"}
   ...

   

   • 配置方式为map格式，目前仅支持英文输入。若一个标签存在多个值的情况，请使用“|”进行分割。
   • 在NPU任务中Ascend Device Plugin取值为“Ascend910”时，在“arguments”中"host-arch":"huawei-arm|huawei-x86"为默认配置，修改无效。若用户需要使用其他标签，请自行添加。
   • host-arch为huawei-arm|huawei-x86，不配置或修改，都只对NPU任务生效。
   • accelerator-type：card、module和half为Atlas 训练系列产品使用的标签；module-{xxx}b-16、module-{xxx}b-8和card-{xxx}b-2为Atlas A2 训练系列产品使用的标签。芯片型号的数值可通过npu-smi info命令查询，返回的“Name”字段对应信息为芯片型号，下文的{xxx}即取“910”字符作为芯片型号数值。
8. 在管理节点的YAML所在路径，执行以下命令，启动Volcano。

   kubectl apply -f volcano-v{version}.yaml

   启动示例如下，出现Running表示组件启动成功：

   root@ubuntu:/home/ascend-volcano# kubectl apply -f volcano-v1.4.0.yaml
   namespace/volcano-system created
   namespace/volcano-monitoring created
   configmap/volcano-scheduler-configmap created
   serviceaccount/volcano-scheduler created
   clusterrole.rbac.authorization.K8s.io/volcano-scheduler created
   clusterrolebinding.rbac.authorization.K8s.io/volcano-scheduler-role created
   deployment.apps/volcano-scheduler created
   service/volcano-scheduler-service created
   serviceaccount/volcano-controllers created
   clusterrole.rbac.authorization.K8s.io/volcano-controllers created
   clusterrolebinding.rbac.authorization.K8s.io/volcano-controllers-role created
   deployment.apps/volcano-controllers created
   customresourcedefinition.apiextensions.K8s.io/jobs.batch.volcano.sh created
   customresourcedefinition.apiextensions.K8s.io/commands.bus.volcano.sh created
   customresourcedefinition.apiextensions.K8s.io/podgroups.scheduling.volcano.sh created
   customresourcedefinition.apiextensions.K8s.io/queues.scheduling.volcano.sh created
   customresourcedefinition.apiextensions.K8s.io/numatopologies.nodeinfo.volcano.sh created

9. 执行以下命令，查看组件状态。

   kubectl get pod -n volcano-system

   回显示例如下：

   NAME                                   READY   STATUS    RESTARTS   AGE
   volcano-controllers-5cf8d788d5-qdpzq   1/1     Running   0          1m
   volcano-scheduler-6cffd555c9-45k7c     1/1     Running   0          1m

   

   • 安装组件后，组件的Pod状态不为Running，可参考组件Pod状态不为Running章节信息。
   • 安装组件后，组件的Pod状态为ContainerCreating，可参考集群调度组件Pod处于ContainerCreating状态章节信息。
   • 启动组件失败，可参考启动集群调度组件失败，日志打印“get sem errno =13”章节信息。
   • 组件启动成功，找不到组件对应的Pod，可参考组件启动YAML执行成功，找不到组件对应的Pod章节信息。

   • 若Volcano的Pod状态为CrashLoopBackOff，可以参见手动安装Volcano后，Pod状态为：CrashLoopBackOff章节进行处理。
   • 若volcano-scheduler-6cffd555c9-45k7c状态为Running，但是调度异常，可以参见Volcano组件工作异常，日志出现Failed to get plugin章节进行处理。

参数说明

Volcano为开源软件，启动参数只罗列目前使用的常见参数，其他详细的参数请参见开源软件的说明。