开发者
下载

Cast数据直转量化算法

Cast是最简单的量化算法,无需校准数据,直接将高精度浮点数(Float16/BFloat16)转换为HiFloat8格式。转换流程为:

  1. 激活数据,从Float16/BFloat16直转到HiFloat8 。
  2. 权重数据,离线统计weight最大值,缩放到HiFloat8高精度表示范围内。

该算法适用于对部署速度要求高、模型数据分布相对集中对精度损失容忍度较高的场景。算法优势为:

  • 无需校准数据和额外计算,部署最简单。
  • 推理速度最快,无额外开销。
  • 得益于HiFloat8的大动态范围和高精度特性,Float16/BFloat16直接转换时精度损失较小。