混合精度为业内通用的性能提升方式,通过降低部分计算精度提升数据计算的并行度。混合精度训练方法是通过混合使用float16和float32数据类型来加速深度神经网络训练的过程,并减少内存使用和存取,从而可以训练更大的神经网络,同时又能基本保持使用float32训练所能达到的网络精度。 用户可以在脚本中通过配置“precision_mode_v2”(推荐)参数或者“precision_mode”参数开启混合精度。 关于“precision_mode_v2”与“precision_mode”参数的详细说明可参见精度调优。 开启“自动混合精度”的场景下,推荐使用LossScale优化器(LossSca