注意事项 AMP使用装饰器的方式实现。在train与test时需要通过添加with Autocast()将模型的入参转换为FP16。如果不添加,模型入参仍为FP32,在极限batchsize下,会出现内存不足的问题。当前PyTorch1.8.1框架AMP不支持tensor融合功能。PyTorch1.8.1框架AMP请参考官方文档。 父主题: AMP使用说明