分布式并行训练
概述
支持数据并行(Allreduce)
支持数据并行(PS-Worker)
支持模型并行
执行分布式训练
Horovod脚本迁移示例
分布式训练性能提升
集合通信接口使用指导
集合通信常见案例
父主题:
手工迁移和训练