量化类型枚举。
enum QuantType: int { QUANT_UNDEINFED = 0, QUANT_INT4, QUANT_INT8, QUANT_INT16, QUANT_FLOAT8, QUANT_FLOAT16, };
成员名称 |
描述 |
---|---|
QUANT_UNDEINFED |
未定义,默认不量化。 |
QUANT_INT4 |
INT4量化,当前不支持。 |
QUANT_INT8 |
INT8量化。 |
QUANT_INT16 |
INT16量化,当前不支持。 |
QUANT_FLOAT8 |
FLOAT8,当前不支持。 |
QUANT_FLOAT16 |
FLOAT16,当前不支持 |