注意事项

  1. 推荐优先使用 opt_level='O2', loss_scale=128.0 的配置进行amp.initialize。若无法收敛，推荐使用 opt_level='O1', loss_scale=128.0 的配置进行amp.initialize。若依然无法收敛，推荐使用 opt_level='O1', loss_scale=None 的配置进行amp.initialize。
  2. 混合精度开启可能会提升性能，但不针对所有模型，需要做进一步调优修改。
  3. 更多APEX模块使用请参见官方文档。
父主题： APEX混合精度模块