Cast数据直转量化算法
Cast是最简单的量化算法,无需校准数据,直接将高精度浮点数(Float16/BFloat16)转换为HiFloat8格式。转换流程为:
- 激活数据,从Float16/BFloat16直转到HiFloat8 。
- 权重数据,离线统计weight最大值,缩放到HiFloat8高精度表示范围内。
该算法适用于对部署速度要求高、模型数据分布相对集中、对精度损失容忍度较高的场景。算法优势为:
- 无需校准数据和额外计算,部署最简单。
- 推理速度最快,无额外开销。
- 得益于HiFloat8的大动态范围和高精度特性,Float16/BFloat16直接转换时精度损失较小。
父主题: 全量化算法