昇腾社区首页
中文
注册

安装前准备

昇腾模型压缩工具用户准备

请使用训练环境下CANN软件包的安装用户安装昇腾模型压缩工具,本章节以非root用户为例进行操作。

关于非root用户权限请参见CANN 软件安装指南手册通过命令行方式安装>安装开发环境>准备安装及运行用户章节。

环境准备

昇腾模型压缩工具需要在Atlas 训练系列产品环境下安装,硬件配套关系如下:
表1 版本配套信息

类别

版本限制

获取方式

注意事项

Ascend910环境操作系统

Ubuntu 18.04 x86_64、

EulerOS release 2.0 (SP10) aarch64

请参见CANN 软件安装指南搭建Atlas 训练系列产品环境。

支持基于NPU,CPU的量化。不支持GPU量化。

Python

3.7.5

请参见CANN 软件安装指南>通过命令行方式安装>安装开发环境>安装OS依赖章节。

-

TensorFlow CPU版本

2.4.1或2.4.3或1.15.0

请参见安装依赖

量化后的仿真模型不支持在GPU运行,故只需安装CPU版本即可。

Pillow

6.0.0+

请参见安装依赖

-

安装依赖

请参见Atlas 训练系列产品场景CANN 软件安装指南>通过命令行方式安装>安装开发环境>安装OS依赖章节。安装完成后,还需要执行如下命令安装相关依赖,对图像处理时需要依赖Pillow软件:

表2 依赖列表

依赖名称

版本号

安装命令

TensorFlow CPU版本

2.4.1或2.4.3或1.15.0

用户根据实际情况选择如下版本进行安装:

  • TensorFlow 2.4 CPU版本安装命令:
    python3.7.5 -m pip install tensorflow-cpu==2.4.1 --user
    或
    python3.7.5 -m pip install tensorflow-cpu==2.4.3 --user
  • TensorFlow 1.15 CPU版本安装命令:
    python3.7.5 -m pip install tensorflow-cpu==1.15 --user
须知:
  • 当前仅支持TensorFlow 1.15版本的网络模型进行量化,但量化过程中支持在TensorFlow 1.15和2.4版本环境进行推理。
  • 只有昇腾模型压缩工具tar.gz格式软件包支持量化过程中在TensorFlow 1.15和2.4版本环境进行推理,whl格式软件包只支持在TensorFlow 1.15版本环境进行推理,软件包详细说明请参见上传软件包

Pillow

6.0.0+

pip3.7.5 install pillow==6.0.0 --user

上传软件包

昇腾模型压缩工具的安装用户将Ascend-cann-amct_{software version}_{arch}.tar.gz软件包上传到Linux服务器任意目录下,本示例为上传到$HOME/amct/目录。

执行如下命令解压昇腾模型压缩工具软件包:

tar -zxvf Ascend-cann-amct-{software version}_{arch}.tar.gz

获得如下内容:

表3 昇腾模型压缩工具软件包解压后内容

一级目录

二级目录

说明

使用场景及注意事项

amct_caffe/

Caffe框架昇腾模型压缩工具目录。

  • 使用方法请参见“昇腾模型压缩工具使用指南(Caffe)”章节。
  • 量化完的模型,如果要执行推理,则需要借助安装昇腾AI处理器的推理环境。

amct_caffe-{version}-py3-none-linux_{arch}.whl

Caffe框架昇腾模型压缩工具安装包。

caffe_patch.tar.gz

Caffe源代码增强包。

amct_tf/

TensorFlow框架昇腾模型压缩工具目录。

amct_tensorflow-{version}-py3-none-linux_{arch}.tar.gz

TensorFlow框架昇腾模型压缩工具安装包。

  • tar.gz包为支持TensorFlow 1.15和2.4版本的包,通过源码编译方式安装昇腾模型压缩工具,后续会取代whl包。
  • whl包为支持TensorFlow 1.15版本的包,后续将会废弃。
  • amct_tensorflow与amct_tensorflow_ascend软件包不能同时安装
  • 使用方法请参见“昇腾模型压缩工具使用指南(TensorFlow)”章节。
  • 量化完的模型,如果要执行推理,则需要借助安装昇腾AI处理器的推理环境。

amct_tensorflow-{version}-py3-none-linux_{arch}.whl

amct_tensorflow_ascend-{version}-py3-none-linux_{arch}.tar.gz

基于TF_Adapter的昇腾模型压缩工具安装包。

  • tar.gz包为支持TensorFlow 1.15和2.4版本的包,通过源码编译方式安装昇腾模型压缩工具,后续会取代whl包。
  • whl包为支持TensorFlow 1.15版本的包,后续将会废弃。
  • Atlas 200/300/500 推理产品:该版本不支持amct_tensorflow_ascend目录下的相关特性。
  • amct_tensorflow与amct_tensorflow_ascend软件包不能同时安装。
  • 使用方法请参见“昇腾模型压缩工具使用指南(TensorFlow, Ascend)”章节。
  • 量化完的模型,如果要执行推理,则需要借助安装昇腾AI处理器的推理环境。

amct_tensorflow_ascend-{version}-py3-none-linux_{arch}.whl

amct_pytorch/

PyTorch框架昇腾模型压缩工具目录。

  • 使用方法请参见“昇腾模型压缩工具使用指南(PyTorch)”章节。
  • 量化完的模型,如果要执行推理,则需要借助安装昇腾AI处理器Atlas 200/300/500 推理产品推理环境。

amct_pytorch-{version}-py3-none-linux_{arch}.tar.gz

PyTorch框架昇腾模型压缩工具源码安装包。

amct_onnx/

ONNX模型昇腾模型压缩工具目录。

  • 使用方法请参见“昇腾模型压缩工具使用指南(ONNX)”章节。
  • 量化完的模型,如果要执行推理,则需要借助安装昇腾AI处理器的推理环境。

amct_onnx-{version}-py3-none-linux_{arch}.whl

ONNX模型昇腾模型压缩工具安装包。

amct_onnx_op.tar.gz

昇腾模型压缩工具基于ONNX Runtime的自定义算子包。

amct_ms/

MindSpore框架昇腾模型压缩工具目录。

  • Atlas 200/300/500 推理产品:该版本不支持amct_ms目录下的相关特性。
  • 使用方法请参见“昇腾模型压缩工具使用指南(MindSpore)”章节。
  • 量化完的模型,如果要执行推理,则需要借助安装昇腾AI处理器的推理环境。

amct_mindspore-{version}-py3-none-linux_{arch}.whl

MindSpore框架昇腾模型压缩工具安装包。

amct_acl/

基于AscendCL接口的昇腾模型压缩工具目录。

  • Atlas 200/300/500 推理产品:该版本不支持amct_acl目录下的相关特性。
  • 使用方法请参见“昇腾模型压缩工具使用指南(ACL方式)”章节。
  • 量化完的模型,如果要执行推理,则需要借助安装昇腾AI处理器的推理环境。

Ascend-amct_acl-{software version}-linux.{arch}.run

基于AscendCL接口的昇腾模型压缩工具安装包。

third_party/

Ascend-nca-{software version}-linux.{arch}.run

NCA(Neural Compute Agent)软件包。

基于性能的自动量化场景下使用。当前版本暂不支持该功能。

其中:{version}表示昇腾模型压缩工具具体版本号,{software version}为软件版本号。{arch}表示具体操作系统架构。