NodeD

操作步骤

1. 以root用户登录各计算节点，并执行以下命令查看镜像和版本号是否正确。

   docker images | grep noded

   回显示例如下：

   noded                               v6.0.RC2              ef801847acd2        29 minutes ago      133MB

   • 是，执行步骤2。
   • 否，请参见准备镜像，完成镜像制作和分发。

2. 将MindCluster NodeD软件包解压目录下的yaml文件，拷贝到K8s管理节点上任意目录。
3. 如不修改组件启动参数，可跳过本步骤。否则，请根据实际情况修改yaml文件中MindCluster NodeD的启动参数。启动参数请参见表1，可执行./noded -h查看参数说明。
4. （可选）使用断点续训或者弹性训练时，需要配置心跳发送间隔时间。在MindCluster NodeD启动yaml文件的“args”行增加“-heartbeatInterval”参数，如下所示：

   ...
             env:
               - name: NODE_NAME
                 valueFrom:
                   fieldRef:
                     fieldPath: spec.nodeName
             imagePullPolicy: Never
             command: [ "/bin/bash", "-c", "--"]
             args: [ "/usr/local/bin/noded -logFile=/var/log/mindx-dl/noded/noded.log -logLevel=0 -heartbeatInterval=5" ]
             securityContext:
               readOnlyRootFilesystem: true
               allowPrivilegeEscalation: true
             volumeMounts:
               - name: log-noded
   ...

   

   • K8s默认40秒未收到节点响应时将该节点置为NotReady，如未修改K8s的该配置，MindCluster NodeD的“心跳发送间隔时间”使用默认值“5”即可，无需修改。
   • 当K8s APIServer请求压力变大时，可根据实际情况增大间隔时间，以减轻APIServer压力。
   • 使用弹性训练时，当MindCluster NodeD最近一次上报心跳之后一段时间内未再次上报心跳（大于两次心跳上报间隔的阈值）时，MindCluster Resilience Controller和MindCluster Volcano就会认为MindCluster NodeD所在节点故障，从而触发故障重调度。当后续MindCluster NodeD两次心跳上报间隔小于等于阈值时，则认为MindCluster NodeD所在节点恢复正常。计算公式：两次心跳上报间隔的阈值 = 心跳发送间隔配置 x 3，其中3表示MindCluster Resilience Controller和MindCluster Volcano会重试3次。

5. 在管理节点的yaml所在路径，执行以下命令，启动MindCluster NodeD。

   kubectl apply -f noded-v{version}.yaml

   启动示例如下：

   serviceaccount/noded created
   clusterrole.rbac.authorization.k8s.io/pods-noded-role created
   clusterrolebinding.rbac.authorization.k8s.io/pods-noded-rolebinding created
   daemonset.apps/noded created

6. 执行以下命令，查看组件是否启动成功。

   kubectl get pod -n mindx-dl

   回显示例如下，出现Running表示组件启动成功。

   NAME                              READY   STATUS    RESTARTS   AGE
   ...
   noded-fd6t8                       1/1     Running   0          74s
   ...

• 安装组件后，组件的Pod状态不为Running，可参考组件Pod状态不为Running章节进行处理。
• 安装组件后，组件的Pod状态为ContainerCreating，可参考集群调度组件Pod处于ContainerCreating状态章节进行处理。
• 启动组件失败，可参考启动集群调度组件失败，日志打印“get sem errno =13”章节信息。
• 组件启动成功，找不到组件对应的Pod，可参考组件启动yaml执行成功，找不到组件对应的Pod章节信息。

参数说明