FSDPTurbo面向MoE(Mixture of Experts)模型提供专家并行(Expert Parallel,EP),将专家按专家维切分到多个设备,token通过All-to-All通信分发到持有对应专家的设备上计算。