多模态模型的训练中,长序列训练的重要性正逐步体现。在生成性AI领域如视频生成任务中,都需要在空间和时间层面对长上下文进行推理。现有的数据、张量和流水线等并行方法无法在序列维度进行切分。当序列维度(S)增长时,训练内存开销会以 $O$($S^2$) 的速度增长。因此需要针对长序列场景进行特定的优化解决长训练场景的训练需求。
hccn_tool -i %d -optical -s hard_reset