hetero-parallel（异构并行）通过解耦多模态模型的并行方案配置，让每个子模块能够独立进行各自模块的并行配置，从而达到解决存算失衡的问题。区别于dist-train方案，hetero-parallel使用了编码器与骨干网络混合部署，解决独立部署导致的计算空泡和资源浪费。 对实现的简要描述如下： - 在线parallel_state转换器：通过存储不同子模块运行配置的snapshot，运行时动态修改当前运行模块的mpu状态，从而实现并行配置的动态转换； - 数据分发util：encoder--\>LLM的数据流分发模块，实现数据流正确，通信掩盖实现中； - 模型hook：在模型fw、b
