压缩概念

HIFloat8（HiF8）

HIFloat8（HiF8）是AI处理器定制的新8比特浮点数据格式，由Sign位（符号位，表示数值的正负）、Dot位、Exponet位（指数位，用于表示数值的范围）和Mantissa位（尾数为，用于表示数值的有效数字）组成。HiF8在IEEE 754的基础上扩增了一个点位域（Dot），用于动态调整阶码域位宽和尾数域位宽。

其中，S为HiF8符号域数值，E为HiF8阶码域数值，M为HiF8尾数域数值，dot位为0b’0000时，HiF8数据为Denormal value。

转换原则如下，用户可在配置文件中自行配置，详情请参见config详细配置：

• float32/bfloat16/float16的NAN转换为HiF8的NAN。
• float32/bfloat16/float16的INF转换为HiF8的INF，符号位不变。
• float32/bfloat16/float16绝对值大于HiF8的可表示范围上限，转换为HiF8的MAX，符号位不变。
• float32/bfloat16/float16绝对值小于HiF8的可表示范围下限，转换为HiF8的0。

其他值按照舍入模式进行转换。

注意：HiF8或float8数据由于本身数据精度问题，当原始输入数据中存在绝对值小于1.5*2^-10的数据时，转换为float8的精度无法保证；原始数据中存在绝对值小于1.5*10^-24的数据时，转换为HiF8的精度无法保证。

FLOAT8（float8）

转换原则如下，用户可在配置文件中自行配置，详情请参见config详细配置：

• float32/bfloat16/float16的NAN转换为float8的NAN。
• float32/bfloat16/float16绝对值大于float8的可表示范围上限，转换为float8的MAX，符号位不变。
• float32/bfloat16/float16绝对值小于float8的可表示范围下限，转换为float8的0。

其他值按照“Round to nearest, tie to Even”的舍入模式进行转换。

注意：HiF8或float8数据由于本身数据精度问题，当原始输入数据中存在绝对值小于1.5*2^-10的数据时，转换为float8的精度无法保证；原始数据中存在绝对值小于1.5*10^-24的数据时，转换为HiF8的精度无法保证。

MXFP8

MXFP8是基于Microscaling（微缩放）格式的低精度8位浮点数表示方法，它由scale（缩放因子）和element（元素）组成，多个element共享一个scale；相比传统的16位浮点数（fp16）或32位浮点数（fp32），能显著减少数据存储和传输需求，减少大模型显存占用，从而提升产品推理竞争力。

FP8_E4M3FN是FP8数据格式的一种，一种8位浮点量化格式，包含4比特指数、3比特尾数以及1比特符号位（FP8_E4M3FN）；而MXFP8比FP8多了Shared Exponent（一种数据表示方法，多个元素共享一个指数（exponent）），通过微缩放技术，相比FP8能够提供更高的精度和更细的量化粒度。

转换原则如下，用户可在配置文件中配置该类型，详情请参见config详细配置：

• float32/bfloat16/float16到float8的转换：
  • float32/bfloat16/float16的NAN转换为float8的NAN。
  • float32/bfloat16/float16绝对值大于float8的可表示范围上限，转换为float8的MAX，符号位不变。
  • float32/bfloat16/float16绝对值小于float8的可表示范围下限，转换为float8的0。

  其余值按照“Round to nearest, tie to Even”的舍入模式(RINT)转换到FP8_E4M3FN。

• MXFP8数据格式转换：对于torch.nn.Linear算子Weight Tensor数据，按照-1轴方向，每32个数据计算一个shared exponent，计算公式如下：

  

MXFP4

MXFP4也是基于Microscaling（微缩放）格式的低精度4位浮点数表示方法，它由scale（缩放因子）和element（元素）组成，多个element共享一个scale；相比传统的16位浮点数（fp16）或32位浮点数（fp32），能显著减少数据存储和传输需求，减少大模型显存占用，从而提升产品推理竞争力。

FP4_E2M1是FP4数据格式的一种，一种4位浮点量化格式，包含2比特指数、1比特尾数以及1比特符号位（FP4_E2M1）；而MXFP4比FP4多了Shared Exponent（一种数据表示方法，多个元素共享一个指数（exponent）），通过微缩放技术，相比FP4能够提供更高的精度和更细的量化粒度。

转换原则如下，用户可在配置文件中配置该类型，详情请参见config详细配置：

• float16/bfloat16到FP4_E2M1的转换：小于FP4_E2M1的数值转换到FP4_E2M1最小值，大于FP4_E2M1的数值转换到FP4_E2M1最大值，NAN和INF不支持转换，其余值按照“Round to nearest, tie to Even”的舍入模式(RINT)转换到FP4_E2M1。
• MXFP4数据格式转换：对于torch.nn.Linear算子Weight Tensor数据，按照-1轴方向，每32个数据计算一个shared exponent，计算公式如下：

  

FP4_E2M1

FP4_E2M1是FP4数据格式的一种，一种4位浮点量化格式，包含2比特指数、1比特尾数以及1比特符号位（FP4_E2M1）。

float16/bfloat16高精度到FP4_E2M1低精度的转换原则如下，用户可在配置文件中配置该类型，详情请参见config详细配置：

小于FP4_E2M1的数据最小值转换为FP4_E2M1最小值，大于FP4_E2M1的数值转换到FP4_E2M1最大值，NAN和INF不支持转换，其余值按照“Round to nearest, tie to Even”的舍入模式(RINT)转换到FP4_E2M1。

FP4_E2M1能够表达的数值有16个，分别为{±0, ±0.5, ±1, ±1.5, ±2, ±3, ±4, ±6}。

FP4_E1M2

FP4_E1M2也是FP4数据格式的一种，一种4位浮点量化格式，包含1比特指数、2比特尾数以及1比特符号位（FP4_E1M2）。

float16/bfloat16高精度到FP4_E1M2低精度的转换原则如下，用户可在配置文件中配置该类型，详情请参见config详细配置：

小于FP4_E1M2数据最小值转换为FP4_E1M2最小值，大于FP4_ E1M2的数值转换到FP4_ E1M2最大值，NAN和INF不支持转换，其余值按照“Round to nearest, tie to Even”的舍入模式(RINT)转换到FP4_E1M2。

FP4_E1M2能够表达的数值有16个，分别为{±0.0, ±0.25, ±0.5, ±0.75, ±1.0, ±1.25, ±1.5, ±1.75}，低精度到高精度转换不涉及尾数舍入和NAN/INF特殊值处理。

INT8

使用8比特的int8数据来表示比如32比特的float32数据，将float的矩阵乘运算转换为int8的矩阵乘运算，加速运算和实现模型压缩。

其中：训练后量化权重量化仅支持INT8量化，激活量化支持INT8和INT16两种量化方式，当前版本仅支持INT8量化。

• 量化感知训练中权重量化和数据量化都支持INT8和INT4两种量化数据类型。其中：
  • INT8量化：AI处理器全系列芯片支持。
  • INT4量化：只有 Atlas 推理系列产品 支持。

INT4

使用4比特的int4数据来表示比如32比特的float32数据。相较于int8量化，int4量化可以实现更优的量化效果，但可能带来更大的精度损失。

INT16

使用16比特的INT16数据来表示32比特的float32数据，将float32的卷积运算过程（乘加运算）转换为INT16的卷积运算，加速运算和实现模型压缩。

INT8量化精度无法满足要求的场景，建议尝试使用INT16量化。

总体说明

• HiF8相比于float8能更好的兼顾精度和动态范围，而MXFP8和MXFP4可以减少大模型显存占用。
• MXFP8和MXFP4：有专门的硬件加速单元，处理量化因子速度更快。
• FP4_E2M1和FP4_E1M2：对于均匀分布的数据，建议用FP4_E1M2；如果是高斯分布，建议使用FP4_E2M1。