总体说明
本场景主要包括以下子场景：
- 版本迭代前后精度比对： 用于判断CANN软件版本迭代、模型版本迭代或模型优化前后，模型是否存在精度问题，进行前后两份精度数据的比对。
- 同一模型切换推理芯片场景的精度比对：当同一离线模型切换了推理芯片，为了了解是否存在精度下降问题，进行切换前后两份精度数据的比对。
- 开启和关闭算子融合功能模型转换的精度比对：一般情况下，通过ATC工具转换离线模型时，会默认开启算子融合功能。为了判断融合前后的算子精度差异，进行融合前后两份精度数据的比对。
版本迭代前后精度比对
对于进行ATC转换后的离线模型，由于CANN软件版本迭代、模型版本迭代或模型进行优化，需要判断迭代、优化后的模型在昇腾AI处理器上运行是否存在精度下降问题。分为非量化 vs 非量化和量化 vs 量化，输入数据准备如下。
文件 |
说明 |
获取方式 |
|---|---|---|
非量化离线模型在昇腾AI处理器上运行生成的dump数据文件（版本迭代前） |
标杆数据 |
离线推理场景各框架获取NPU环境的dump数据方法一致，请参考： |
非量化离线模型在昇腾AI处理器上运行生成的dump数据文件（版本迭代后） |
待比对数据 |
文件 |
说明 |
获取方式 |
|---|---|---|
量化离线模型在昇腾AI处理器上运行生成的dump数据文件（版本迭代前） |
标杆数据 |
离线推理场景各框架获取NPU环境的dump数据方法一致，请参考： |
量化离线模型在昇腾AI处理器上运行生成的dump数据文件（版本迭代后） |
待比对数据 |
同一模型切换推理芯片场景的精度比对
当同一离线模型切换了推理芯片，为了了解是否存在精度下降问题，那么可以将切换前的离线模型dump数据与切换后的离线模型dump数据进行比对。
例如在
- 获取到原始模型并重新执行ATC模型转换。
- 获取离线模型dump数据。
- 执行精度比对。
参见比对操作和分析，需要取消-f和-cf参数，否则无法比对。
文件 |
说明 |
获取方式 |
|---|---|---|
非量化离线模型在昇腾AI处理器上运行生成的dump数据文件（Ascend NPU A） |
标杆数据 |
离线推理场景各框架获取NPU环境的dump数据方法一致，请参考： |
非量化离线模型在昇腾AI处理器上运行生成的dump数据文件（Ascend NPU B） |
待比对数据 |
开启和关闭算子融合功能模型转换的精度比对
一般情况下，通过ATC工具转换离线模型时，会默认开启算子融合功能。那么需要判断融合前后的算子精度差异，就需要获取：
- 开启算子融合功能进行ATC转换离线模型，并以转换后的离线模型进行精度数据dump。
- 关闭算子融合功能进行ATC转换离线模型，并以转换后的离线模型进行精度数据dump。
最后将以上两份数据进行精度比对。
该场景分为非量化开融合 vs 非量化关融合和量化开融合 vs 量化关融合，输入数据准备如下。
文件 |
说明 |
获取方式 |
|---|---|---|
非量化离线模型文件（*.om）（关闭算子融合） 非量化离线模型文件（*.om）（开启算子融合） |
模型文件 |
|
非量化离线模型在昇腾AI处理器上运行生成的dump数据文件（关闭算子融合） |
标杆数据 |
离线推理场景各框架获取NPU环境的dump数据方法一致，请参考： |
非量化离线模型在昇腾AI处理器上运行生成的dump数据文件（开启算子融合） |
待比对数据 |
文件 |
说明 |
获取方式 |
|---|---|---|
量化离线模型文件（*.om）（关闭算子融合） 量化离线模型文件（*.om）（开启算子融合） |
模型文件 |
|
量化离线模型（关闭算子融合）在昇腾AI处理器上运行生成的dump数据文件 |
标杆数据 |
离线推理场景各框架获取NPU环境的dump数据方法一致，请参考： |
量化离线模型（开启算子融合）在昇腾AI处理器上运行生成的dump数据文件 |
待比对数据 |