简介

本文介绍整网推理场景下的精度调优流程、相关配置及典型案例等。由于是调优,因此在调优前,请确保已经完成了整网推理功能调测,功能不阻塞,只是推理精度错误,或推理精度与标杆数据存在少量差距。

在整网推理时,可能由于以下原因导致推理精度错误或者推理精度不达标:

图1 推理精度问题
  • 本文中的“推理”,当前限定为使用om离线模型文件进行推理的场景。
  • 本文中的算子精度问题,是指整网中算子的精度问题,对于自定义的TBE算子,运行验证时的发现精度问题,请参见《TBE&AI CPU算子开发指南》