配置Pod级别重调度

本章节将指导用户了解配置Pod级别重调度的关键步骤。Pod级别重调度的特性介绍、使用约束、支持的产品型号及原理请参见Pod级别重调度。

构建镜像

使用Dockerfile构建容器镜像，新增启动命令。示例如下。

# MindCluster断点续训适配脚本，TASKD_WHL为TaskD whl安装包的路径，请根据实际情况填写   
# 可选，PyTorch框架下，使用优雅容错、Pod级别重调度或进程级别重调度时必须配置以下命令
RUN pip install $TASKD_WHL 
RUN sed -i '/import os/i import taskd.python.adaptor.patch' $(pip3 show torch | grep Location | awk -F ' ' '{print $2}')/torch/distributed/run.py

# 可选，MindSpore框架下，使用Pod级别重调度需配置以下命令
RUN pip install $TASKD_WHL

准备任务YAML

在任务YAML中，新增以下加粗字段，开启Pod级别重调度，并修改容器端口，在所有的Pod下增加TaskD通信使用的端口9601。

... 
metadata:  
   labels:  
     ...  
     pod-rescheduling: "on"
     fault-scheduling: "force"
...
ports:                         
   - containerPort: 9601             
     name: taskd-port 
...

适配训练脚本

在启动脚本（例如train_start.sh）中，新增以下加粗字段，示例如下。

...
export MS_ENABLE_TFT='{RSC:1}'      # MindSpore场景下配置此字段开启Pod级别重调度
...
# 可选，PyTorch场景下，设置容器内重启次数和训练进程监控间隔
   logger "server id is: ""${server_id}" 
   if [ "${framework}" == "PyTorch" ]; then 
     get_env_for_pytorch_multi_node_job 
     DISTRIBUTED_ARGS="--nproc_per_node $GPUS_PER_NODE --nnodes $NNODES --node_rank $NODE_RANK --master_addr $MASTER_ADDR --master_port $MASTER_PORT --max_restarts 5 --monitor_interval 10"

在分布式环境初始化完成，能够获取到全局rank之后，修改训练脚本，在训练脚本中拉起TaskD Manager。
1. 创建manager.py文件，放在调用训练脚本时的当前目录下，manager.py文件内容如下所示。
```
from taskd.api import init_taskd_manager, start_taskd_manager
import os
 
job_id=os.getenv("MINDX_TASK_ID")
node_nums=XX          # 用户填入任务节点总数
proc_per_node=XX     # 用户填入任务每个节点的训练进程数量
 
init_taskd_manager({"job_id":job_id, "node_nums": node_nums, "proc_per_node": proc_per_node})
start_taskd_manager()
```
  manager.py文件中的参数详细说明请参见def init_taskd_manager(config:dict) -> bool:。
2. 在训练脚本（例如train_start.sh）中增加以下代码，拉起TaskD Manager。在以下代码中：
  - TASKD_SO_PATH和export LD_PRELOAD两条语句的作用是将安装TaskD后libtaskd.so的路径配置到环境变量LD_PRELOAD中。如果这两条语句配置不成功，可通过手动执行pip show taskd命令获取Location的值拼接上/taskd/python/cython_api/libs/libtaskd.so，然后通过export设置。
  - TASKD_PROCESS_ENABLE环境变量配置说明：若任务YAML中“recover-strategy”未配置恢复策略且未使能亚健康热切，需要配置export TASKD_PROCESS_ENABLE="off"；若“recover-strategy”配置了恢复策略或使能了亚健康热切，则无需配置export TASKD_PROCESS_ENABLE="off"。
```
TASKD_SO_PATH="$(pip show taskd | awk '/^Location: / {print $2"/taskd/python/cython_api/libs/libtaskd.so"}')"
export LD_PRELOAD=$TASKD_SO_PATH:$LD_PRELOAD
export TASKD_PROCESS_ENABLE="off" 
# PyTorch框架下
if [[ "${RANK}" == 0 ]]; then
    export MASTER_ADDR=${POD_IP}
    python manager.py &           # 具体执行路径由当前路径决定
fi
# MindSpore框架下
if [[ "${MS_SCHED_HOST}" == "${POD_IP}" ]]; then
    python manager.py &   # 具体执行路径由当前路径决定
fi
```

父主题： 配置故障处理