昇腾社区首页
中文
注册

精度比对

数据准备

准备Caffe ResNet-50网络的原始npy数据文件,可以参考Link对原模型进行数据dump,或者自行获取其他方法获取原始npy数据文件。并以MindStudio安装用户将原始npy数据文件上传至MindStudio安装服务器工程目录/dump”目录下。

操作步骤

  1. 在AMIT工具流程界面,单击“Model Accuracy Analyse”进入精度比对参数配置界面。
  2. 配置比对参数。具体配置如图1所示。
    图1 配置比对参数界面
    表1 配置参数说明

    参数

    说明

    Output Path

    比对数据结果存放路径。

    Analysis Mode

    精度比对分析模式。本样例选择“NPU vs GPU/CPU”。

    Framework

    本样例选择“Caffe”。

    NPU Dump

    NPU上运行生成的dump数据文件目录,所在路径参考离线模型dump

    Model File

    推理场景下选择*.om文件,所在路径参考2指定的输出路径。

    Ground Truth

    数据准备中的npy文件目录。

    Algorithm

    比对算法维度。取值为:

    • Cosine Similarity:余弦相似度算法,默认勾选。
    • Relative Euclidean Distance:欧氏相对距离算法,默认勾选。
    • Absolute Error,绝对误差,默认勾选,此项执行的比对算法为:
      • Max Absolute Error:最大绝对误差。
      • Mean Absolute Error:平均绝对误差。
      • Root Mean Square Error:均方根误差。
    • Relative Error,相对误差,默认勾选,此项执行的比对算法为:
      • Max Relative Error:最大相对误差。
      • Mean Relative Error:平均相对误差。
      • Accumulated Relative Error:累积相对误差。
    • Kullback Leibler Divergence:KL散度算法,默认不勾选。
    • Standard Deviation:标准差算法,默认不勾选。
  3. 单击“Start”,开始比对。

    比对过程中如遇protobuf相关报错,可根据报错提示安装相应版本的protobuf。

结果展示

Vector比对结果如图2所示。

Vector比对结果界面介绍及各字段说明详细请参见MindStudio用户指南的“精度比对>Tensor比对>整网比对>比对结果”章节。

图2 Vector比对结果