enum class BuilderFlag
说明
枚举类型,模型编译时的数据类型选项。
定义
enum class BuilderFlag : size_t {
FP16 = 0,
FP32 = 1,
MIX_FP32_WITH_FP16 = 2,
MIX_FP16 = 3,
QINT8 = 4
};
成员
成员名称 |
描述 |
|---|---|
FP16 |
模型编译时,内部数据类型强制转换为float16。 |
FP32 |
模型编译时,内部数据类型强制转换为float32。 |
MIX_FP32_WITH_FP16 |
模型编译时,内部数据类型为float16与float32混合,优先选择float32。 |
MIX_FP16 |
模型编译时,内部数据类型为float16与float32混合,优先选择float16。 在该模式下,可通过环境变量MINDIE_MODIFY_MIXLIST,配置混合精度的黑白名单,配置算子的执行精度。 |
QINT8 |
模型编译时,自动执行PTQ量化。 |
父主题: 数据结构参考