QuantType

说明

量化支持的类型。

定义

enum QuantType: int {
    QUANT_UNDEFINED = 0,
    QUANT_INT4,
    QUANT_INT8,
    QUANT_INT16,
    QUANT_FLOAT8,
    QUANT_FLOAT16,
};

成员

成员名称

描述

QUANT_UNDEFINED

不量化。

QUANT_INT4

INT4量化,当前不支持。

QUANT_INT8

INT8量化。

QUANT_INT16

INT16量化,当前不支持。

QUANT_FLOAT8

FLOAT8量化,当前不支持。

QUANT_FLOAT16

FLOAT16量化,当前不支持