提供图编译精度选择策略,支持FP32、FP16以及混合精度PREF_FP32、PREF_FP16。不同的精度策略最终会影响模型的性能,理论上FP32精度策略下,模型性能最慢,FP16精度策略下,模型性能最优。
enum class PrecisionPolicy { PREF_FP32 = 0, FP16 = 1, FP32 = 2, PREF_FP16 = 3 };
成员名称 |
描述 |
---|---|
PREF_FP32 |
模型编译时,内部数据类型为float16和float32混合。 |
FP16 |
模型编译时,内部数据类型强制转换为float16。 |
FP32 |
模型编译时,内部数据类型强制转换为float32。 |
PREF_FP16 |
模型编译时,内部数据类型为float16和float32混合,优先使用float16。 |