QuantType

说明

量化类型枚举。

定义

enum QuantType: int {
    QUANT_UNDEINFED = 0,
    QUANT_INT4,
    QUANT_INT8,
    QUANT_INT16,
    QUANT_FLOAT8,
    QUANT_FLOAT16,
};

成员

成员名称

描述

QUANT_UNDEINFED

未定义,默认不量化。

QUANT_INT4

INT4量化,当前不支持。

QUANT_INT8

INT8量化。

QUANT_INT16

INT16量化,当前不支持。

QUANT_FLOAT8

FLOAT8,当前不支持。

QUANT_FLOAT16

FLOAT16,当前不支持