性能指标的优先级排序为:吞吐率 \> 单步迭代时间 \> 线性度 \> 内存占用 \> 带宽占比 \> 训练效率 \> 浮点计算次数每秒 \> 算力利用率。 神经网络的吞吐率(Throughput)定义为网络模型在单位时间(例如1s)内可以处理的最大数量的训练样本数据。 与涉及单个样本数据处理的延迟latency不同,为了实现最大吞吐率,我们希望在集群训练的过程中有效并行处理尽可能多的样本数据。这种有效的并行性显然依赖于数据、模型和设备规模。 因此,为了正确测量吞吐率,可以执行以下两个步骤: 1. 估计允许最大并行度的最佳训练样本数据批量大小,即batch size; 2. 在AI训练集群中给