量化支持的类型。
enum QuantType: int { QUANT_UNDEFINED = 0, QUANT_INT4, QUANT_INT8, QUANT_INT16, QUANT_FLOAT8, QUANT_FLOAT16, };
成员名称 |
描述 |
---|---|
QUANT_UNDEFINED |
不量化。 |
QUANT_INT4 |
INT4量化,当前不支持。 |
QUANT_INT8 |
INT8量化。 |
QUANT_INT16 |
INT16量化,当前不支持。 |
QUANT_FLOAT8 |
FLOAT8量化,当前不支持。 |
QUANT_FLOAT16 |
FLOAT16量化,当前不支持 |