比对场景

Tensor比对支持的精度比对场景如表1表2所示,请根据具体场景准备对应的文件。具体文件的获取方式请参见下文具体数据准备章节。

My Output离线模型文件与量化融合规则文件使用场景说明:

  • 离线模型文件:使用昇腾AI处理器运行生成的dump数据与Ground Truth比对,选择该模型文件。
  • 量化融合规则文件:只要涉及量化与非量化数据比对,则必须选择该文件。
表1 Tensor比对前数据准备(训练场景)

序号

待比对数据

(My Output)

标准数据

(Ground Truth)

模型文件/融合规则文件

1

通过昇腾AI处理器运行生成的训练网络dump数据文件

TensorFlow原始训练网络npy文件

计算图文件(*.txt)

2

通过昇腾AI处理器运行生成的训练网络dump数据文件(.h5文件)

基于GPU运行生成的PyTorch训练网络dump数据文件(.h5文件)

-

表2 Tensor比对前数据准备(推理场景)

序号

待比对数据

(My Output)

标准数据

(Ground Truth)

模型文件/融合规则文件

1

非量化离线模型在昇腾AI处理器上运行生成的dump数据文件

非量化原始模型的npy文件(Caffe)

非量化离线模型文件(*.om)

2

非量化离线模型在昇腾AI处理器上运行生成的dump数据文件

非量化原始模型的npy文件(TensorFlow)

非量化离线模型文件(*.om)

3

非量化离线模型在昇腾AI处理器上运行生成的dump数据文件

非量化原始模型的npy文件(ONNX)

非量化离线模型文件(*.om)

4

量化离线模型在昇腾AI处理器上运行生成的dump数据文件

非量化原始模型的npy文件(Caffe)

  • 量化离线模型文件(*.om)
  • 昇腾模型压缩后的量化融合规则文件(json文件)

5

量化原始模型的npy文件(Caffe)

非量化原始模型的npy文件(Caffe)

昇腾模型压缩后的量化融合规则文件(json文件)

6

量化离线模型在昇腾AI处理器上运行生成的dump数据文件

量化原始模型的npy文件(Caffe)

量化离线模型文件(*.om)

7

量化离线模型在昇腾AI处理器上运行生成的dump数据文件

量化离线模型在昇腾AI处理器上运行生成的dump数据文件

本场景推荐使用不同CANN软件版本、同一模型的不同版本或优化前后的模型数据进行比对:

  • 一般情况下不需要指定模型文件/融合规则文件;
  • 进行离线模型转换开启算子融合功能前后的dump数据精度比对时,需要指定开融合的算子映射文件(.json)或离线模型文件(*.om)和关融合的算子映射文件(.json)或离线模型文件(*.om)。

非量化离线模型在昇腾AI处理器上运行生成的dump数据文件

非量化离线模型在昇腾AI处理器上运行生成的dump数据文件

注:上述有关量化、非量化概念请参见AMCT工具(Caffe)