MindCluster MindIO Training Fault Tolerance（下文简称MindIO TFT）包括临终Checkpoint保存、进程级在线恢复和进程级别重调度等功能。 - MindCluster MindIO Try To Persist（下文简称MindIO TTP）功能，旨在针对大模型训练过程中故障恢复加速，MindIO TTP特性通过在训练过程中发生故障后，校验中间状态数据的完整性和一致性，生成一次临终Checkpoint数据，恢复训练时能够通过该Checkpoint数据恢复，减少故障造成的训练迭代损失。 - MindCluster MindIO Uncorrec
硬件型号
