约束与限制
- 不支持float16类型的inf/nan数据输入输出。inf表示无穷大数值，nan表示无穷小数值，当一个数超出表示范围时会转为inf，小于能表示的精度时会转为nan。
- APEX（混合精度训练加速模块）当前版本的实现方式为Python实现，不支持APEX中的自定义优化CUDA Kernel。
- APEX当前版本只支持适配昇腾AI处理器的混合精度计算和多种融合优化器功能，其他功能暂未支持。融合优化器与原生优化器算法保持一致，但运算速度更快。
- 集合通信约束：
- 数据并行模式中不同device上执行的图相同。
- 只支持1/2/4/8P粒度的分配。
- 只支持int8，int32，float16和float32数据类型。