在开启混合精度后,部分算子性能变差,如Reduce类算子
2023/06/06
91
问题信息
问题来源 | 产品大类 | 关键字 |
---|---|---|
官方 | 模型训练 | -- |
问题现象描述
开启混合精度后,Reduce类算子性能变差,block dim变小,性能降低。
解决措施
在AMP初始化之前添加代码:
amp.register_float_function(torch,'relu') #relu为算子名称,请根据实际情况替换
本页内容
在开启混合精度后,部分算子性能变差,如Reduce类算子
2023/06/06
91
问题信息
问题来源 | 产品大类 | 关键字 |
---|---|---|
官方 | 模型训练 | -- |
开启混合精度后,Reduce类算子性能变差,block dim变小,性能降低。
在AMP初始化之前添加代码:
amp.register_float_function(torch,'relu') #relu为算子名称,请根据实际情况替换
本页内容