使用说明 支持展示不同维度并行策略 在并行策略展示区域,可分别输入PP大小、TP大小和DP大小,用以生成不同维度并行策略,如图1所示。图中取值信息表示将模型层次分割成2个部分,数据集中在1个部分,模型的权重张量分割成4个部分,最终分配到不同的设备上进行并行处理。 图1 并行策略 并行策略取值规则:PP大小 X TP大小 X DP大小 = 导入的卡数量。 并行策略取值默认为空,页签显示为“流水线并行”和“张量/数据并行”。当输入正确的并行策略值时,“张量/数据并行”页签会分开展示,页签显示为“流水线并行”、“张量并行”和“数据并行”。 父主题: Summary