安装Volcano

操作步骤

1. 以root用户登录K8s管理节点，并执行以下命令，查看MindCluster Volcano镜像和版本号是否正确。

   docker images | grep volcanosh

   回显示例如下。

   volcanosh/vc-controller-manager      v1.4.0              84c73128cc55        3 days ago          44.5MB
   volcanosh/vc-scheduler               v1.4.0              e90c114c75b1        3 days ago          188MB

   • 是，执行步骤2。
   • 否，请参见准备镜像，完成镜像制作。

2. 将MindCluster Volcano软件包解压目录（以“/home/ascend-volcano”为例）下的yaml文件拷贝到K8s管理节点上任意目录（以“/home/ascend-volcano”为例）。如果MindCluster Volcano软件包在K8s管理节点上解压，可以不用进行拷贝操作。

   cd /home/ascend-volcano
   scp root@{软件包解压节点IP地址}:/home/ascend-volcano/volcano-v{version}.yaml ./

3. 如不修改组件启动参数，可跳过本步骤。否则，请根据实际情况修改对应启动yaml文件中MindCluster Volcano的启动参数。常用启动参数请参见表2和表3。
4. 配置MindCluster Volcano日志转储。
   安装过程中，MindCluster Volcano日志将外挂到磁盘空间（“/var/log/mindx-dl”），为防止空间被占满，请为MindCluster Volcano配置日志转储，配置项信息参见表4。

   1. 在管理节点“/etc/logrotate.d”目录下，执行以下命令，创建日志转储配置文件。

      vi /etc/logrotate.d/文件名

      例如：

      vi /etc/logrotate.d/volcano

      写入以下内容，然后执行:wq命令保存。

      /var/log/mindx-dl/volcano-*/*.log{    
           daily     
           rotate 8     
           size 50M     
           compress     
           dateext     
           missingok     
           notifempty     
           copytruncate     
           create 0640 hwMindX hwMindX     
           sharedscripts     
           postrotate         
               chmod 640 /var/log/mindx-dl/volcano-*/*.log                
               chmod 440 /var/log/mindx-dl/volcano-*/*.log-*            
           endscript 
      }

   2. 依次执行以下命令，设置配置文件权限为640，属主为root。

      chmod 640 /etc/logrotate.d/文件名
      chown root /etc/logrotate.d/文件名

      例如：

      chmod 640 /etc/logrotate.d/volcano
      chown root /etc/logrotate.d/volcano

5. （可选）在“volcano-v{version}.yaml”中，配置MindCluster Volcano所需的CPU和内存。CPU和内存推荐值可以参见开源Volcano官方文档的表2volcano-controller和volcano-scheduler的建议值。

   ...
   kind: Deployment
   ...
     labels:
       app: volcano-scheduler
   spec:
     replicas: 1
   ...
       spec:
   ...
             imagePullPolicy: "IfNotPresent"
             resources:
               requests:
                 memory: 300Mi
                 cpu: 500m
               limits:
                 memory: 300Mi
                 cpu: 500m
   ...
   kind: Deployment
   ...
     labels:
       app: volcano-controller
   spec:
   ...
       spec:
   ...
             resources:
               requests:
                 memory: 3Gi
                 cpu: 500m
               limits:
                 memory: 3Gi
                 cpu: 500m
   ...

6. （可选）在“volcano-v{version}.yaml”中，配置MindCluster Volcano所使用的插件。请参见开源Volcano官方文档中表3Volcano高级配置参数说明和表4支持的Plugins列表的说明进行操作。

   ...
   data:
     volcano-scheduler.conf: |
       actions: "enqueue, allocate, backfill"
       tiers:
       - plugins:
         - name: priority
         - name: gang
         - name: conformance
         - name: volcano-npu_v6.0.RC2_linux-aarch64  # 其中v6.0.RC2为MindX DL的版本号，根据不同版本，该处编码不同
       - plugins:
         - name: drf
         - name: predicates
         - name: proportion
         - name: nodeorder
         - name: binpack
   ....

7. （可选）在“volcano-v{version}.yaml”中，配置MindCluster Volcano使用的集群调度组件为用户提供的重调度时删除Pod的模式、虚拟化方式和交换机亲和性调度。

   ...
   data:
     volcano-scheduler.conf: |
   ...
       configurations:
         - name: init-params
           arguments: {"grace-over-time":"900","presetVirtualDevice":"true","nslb-version":"1.0","shared-tor-num":"2"}
   ...

   表1 参数说明

   参数名称	默认值	参数说明
   grace-over-time	900	重调度的优雅删除模式删除Pod所需时间，单位为秒，取值范围为2~3600。优雅删除是指在重调度过程中，先优雅删除原Pod，即删除过程中MindCluster Volcano会做相关善后工作，15分钟后若未删除成功，再直接强制删除Pod，不做善后。 不配置该字段则使用重调度的强制删除模式，直接删除Pod。
   presetVirtualDevice	true	采用的虚拟化方式。 true：静态虚拟化 false：动态虚拟化
   nslb-version	1.0	交换机亲和性调度的版本，可以取值为1.0和2.0。交换机亲和性调度2.0当前只支持PyTorch框架使用。
   shared-tor-num	2	交换机亲和性调度2.0中单个任务可使用的最大共享交换机数量，可取值为1或2。仅在nslb-version取值为2.0时生效。 交换机亲和性调度（1.0或2.0）说明参见《MindX DL 亲和性调度方案说明》中的“基于节点的亲和性调度”章节。

   

   更多关于开源MindCluster Volcano的配置，用户可以参见开源Volcano官方文档进行操作。

8. 在管理节点的yaml所在路径，执行以下命令，启动MindCluster Volcano。

   kubectl apply -f volcano-v{version}.yaml

   启动示例如下：

   namespace/volcano-system created
   namespace/volcano-monitoring created
   configmap/volcano-scheduler-configmap created
   serviceaccount/volcano-scheduler created
   clusterrole.rbac.authorization.K8s.io/volcano-scheduler created
   clusterrolebinding.rbac.authorization.K8s.io/volcano-scheduler-role created
   deployment.apps/volcano-scheduler created
   service/volcano-scheduler-service created
   serviceaccount/volcano-controllers created
   clusterrole.rbac.authorization.K8s.io/volcano-controllers created
   clusterrolebinding.rbac.authorization.K8s.io/volcano-controllers-role created
   deployment.apps/volcano-controllers created
   customresourcedefinition.apiextensions.K8s.io/jobs.batch.volcano.sh created
   customresourcedefinition.apiextensions.K8s.io/commands.bus.volcano.sh created
   customresourcedefinition.apiextensions.K8s.io/podgroups.scheduling.volcano.sh created
   customresourcedefinition.apiextensions.K8s.io/queues.scheduling.volcano.sh created
   customresourcedefinition.apiextensions.K8s.io/numatopologies.nodeinfo.volcano.sh created

9. 执行以下命令，查看组件状态。

   kubectl get pod -n volcano-system

   回显示例如下，出现Running表示组件启动成功：

   NAME                                   READY   STATUS    RESTARTS   AGE
   volcano-controllers-5cf8d788d5-qdpzq   1/1     Running   0          1m
   volcano-scheduler-6cffd555c9-45k7c     1/1     Running   0          1m

   

   • 若MindCluster Volcano的Pod状态为CrashLoopBackOff，可以参见手动安装MindCluster Volcano后，Pod状态为：CrashLoopBackOff章节进行处理。
   • 若volcano-scheduler-6cffd555c9-45k7c状态为Running，但是调度异常，可以参见MindCluster Volcano组件工作异常，日志出现Failed to get plugin章节进行处理。
   • 安装组件后，组件的Pod状态不为Running，可参考组件Pod状态不为Running章节进行处理。
   • 安装组件后，组件的Pod状态为ContainerCreating，可参考集群调度组件Pod处于ContainerCreating状态章节进行处理。
   • 启动组件失败，可参考启动集群调度组件失败，日志打印“get sem errno =13”章节信息。
   • 组件启动成功，找不到组件对应的Pod，可参考组件启动yaml执行成功，找不到组件对应的Pod章节信息。

参数说明

MindCluster Volcano为开源软件，启动参数只罗列目前使用的常见参数，其他详细的参数请参见开源软件的说明。