自动混合精度搜索
简介
昇腾AI处理器
支持多种数据精度,当前支持的有FP16、INT8、INT4。正常情况下,数据精度越高,计算越准确,模型的计算准确度越高;但同时硬件资源消耗也越多,性能也越低。为了平衡性能和准确度,可以选择对模型做混合精度处理,即同一个模型中同时存在多种数据精度(FP16、INT8、INT4)或其中的一部分。
搜索流程
本节介绍自动混合精度搜索场景的接口调用流程和调用示例。
父主题:
扩展更多特性