安装前准备

用户准备

支持任意用户（root或者非root）安装AMCT，本章节以非root用户为例进行操作。

系统要求和环境检查

本章节以Ubuntu 20.04为例，详述安装前准备，版本配套信息如下：

表1 配套版本信息

类别

版本限制

获取方式

注意事项

操作系统及版本

EulerOS release 2.0 (SP10) aarch64

cat /etc/*release && uname -m
  • 仅支持基于CPU量化。
  • PyTorch框架AMCT包安装时，默认为8线程编译，故需要操作系统运行内存>=12G。

操作系统及版本

Ubuntu 20.04 x86_64

请从Ubuntu官网下载对应版本软件进行安装，安装完成后查询命令为：

cat /etc/*release && uname -m
  • 支持基于CPU，GPU的量化。
  • PyTorch框架AMCT包安装时，默认为8线程编译，故需要操作系统运行内存>=12G。

操作系统及版本

Ubuntu 20.04 aarch64

请从Ubuntu官网下载对应版本软件进行安装，安装完成后查询命令为：

cat /etc/*release && uname -m
  • 支持基于CPU，GPU的量化。
  • PyTorch框架AMCT包安装时，默认为8线程编译，故需要操作系统运行内存>=12G。

PyTorch

2.1.0、1.10.0、1.8.0、1.5.0、1.4.0

  • PyTorch 2.1.0配套ONNX 1.14.0，ONNX Runtime 1.16.0，Python3.10.0
  • PyTorch 1.10.0配套ONNX 1.9.0，ONNX Runtime 1.8.0，Python3.9.2
  • PyTorch 1.8.0、1.5.0、1.4.0配套ONNX 1.8.0，ONNX Runtime 1.6.0，Python3.7.5

用户根据实际情况选择安装CPU或GPU，请参见安装依赖。

1.4.0版本不再推荐使用，使用时会有告警提示信息。

CUDA toolkit/CUDA driver

11.8、11.1、10.2

  • PyTorch 2.1.0配套CUDA 11.8
  • PyTorch 1.10.0配套CUDA 11.1
  • PyTorch 1.8.0、1.5.0、1.4.0配套CUDA 10.2

请用户自行获取相关软件包进行安装，例如可以参见如下链接获取相关toolkit包，该包中包括driver软件包。

https://developer.nvidia.com/cuda-toolkit-archive

如果使用GPU模式执行量化功能，则CUDA软件必须安装。

ONNX

1.14.0、1.9.0、1.8.0

请参见安装依赖。
  • 安装依赖时，请确保服务器能够连接网络。
  • 本手册以Python3.9.2为例进行介绍，相应环境变量和安装命令以实际安装Python版本为准。
  • 1.8.0版本ONNX Runtime存在的已知问题请单击Link进行查看。

ONNX Runtime

1.16.0、1.8.0、1.6.0

Python

Python3.7.x（3.7.0~3.7.11）、Python3.8.x（3.8.0~3.8.11）、Python3.9.x（3.9.0~3.9.7）、Python3.10.x（3.10.0~3.10.12）

推荐使用3.10.0

Ubuntu操作系统请参见安装Python3.9.2（Ubuntu）。

EulerOS操作系统请参见安装Python3.9.2（EulerOS ）。

numpy
  • PyTorch 2.1.0配套：>=1.21.6
  • PyTorch 1.10.0、1.8.0、1.5.0、1.4.0配套：1.20.0~1.23.5

请参见安装依赖。

protobuf
  • PyTorch 2.1.0配套：>=3.20.2
  • PyTorch 1.10.0、1.8.0、1.5.0、1.4.0配套：3.13.0+

安装依赖

请使用AMCT的安装用户安装依赖的软件，如果安装用户为非root，请确保该用户拥有sudo权限，请使用su - username命令切换到非root用户执行如下命令。

表2 依赖列表

依赖名称

版本号

安装命令

PyTorch版本的CPU或GPU

2.1.0、1.10.0、1.8.0、1.5.0、1.4.0

安装PyTorch时，请确保pip版本低于23.0.1，否则可能出现如下“ModuleNotFoundError:No module named 'torch' ”错误信息；如果用户pip版本高于23.0.1，且不想降低版本，则请优先安装wheel包（参考安装命令：pip3 install wheel --user），然后再执行后续操作。

  • 2.1.0版本PyTorch，CPU或GPU安装命令：
    • CPU版本安装命令：
      python3 -m pip --trusted-host=download.pytorch.org install torch==2.1.0+cpu torchvision==0.16.0+cpu  -f https://download.pytorch.org/whl/torch_stable.html --user
    • GPU版本安装命令：
      python3 -m pip --trusted-host=download.pytorch.org install torch==2.1.0 torchvision==0.16.0  -f https://download.pytorch.org/whl/torch_stable.html --user
  • 1.10.0版本PyTorch，CPU或GPU安装命令（推荐使用1.10.0版本）：
    • CPU版本安装命令：
      python3 -m pip --trusted-host=download.pytorch.org install torch==1.10.0+cpu torchvision==0.11.0+cpu  -f https://download.pytorch.org/whl/torch_stable.html --user
    • GPU版本安装命令：
      python3 -m pip --trusted-host=download.pytorch.org install torch==1.10.0 torchvision==0.11.0  -f https://download.pytorch.org/whl/torch_stable.html --user
  • 1.8.0版本PyTorch，CPU或GPU安装命令：
    • CPU版本安装命令：
      python3 -m pip --trusted-host=download.pytorch.org install torch==1.8.0+cpu torchvision==0.9.0+cpu -f https://download.pytorch.org/whl/torch_stable.html --user
    • GPU版本安装命令：
      python3 -m pip --trusted-host=download.pytorch.org install torch==1.8.0+cu101 torchvision==0.9.0+cu101 -f https://download.pytorch.org/whl/torch_stable.html --user
  • 1.5.0版本PyTorch，CPU或GPU安装命令：
    • CPU版本安装命令：
      python3 -m pip --trusted-host=download.pytorch.org install torch==1.5.0+cpu torchvision==0.6.0+cpu -f https://download.pytorch.org/whl/torch_stable.html --user
    • GPU版本安装命令：
      python3 -m pip --trusted-host=download.pytorch.org install torch==1.5.0+cu101 torchvision==0.6.0+cu101 -f https://download.pytorch.org/whl/torch_stable.html --user

  • 1.4.0版本PyTorch，CPU或GPU安装命令（不再推荐使用，使用时会有告警提示信息）：

    • CPU版本安装命令：
      python3 -m pip --trusted-host=download.pytorch.org install torch==1.4.0+cpu torchvision==0.5.0+cpu -f https://download.pytorch.org/whl/torch_stable.html --user
    • GPU版本安装命令：
      python3 -m pip --trusted-host=download.pytorch.org install torch==1.4.0+cu100 torchvision==0.5.0+cu100 -f https://download.pytorch.org/whl/torch_stable.html --user

ONNX

1.14.0、1.10.0、1.9.0、1.8.0
  • ONNX 1.14.0版本
    pip3 install onnx==1.14.0 --user
  • ONNX 1.10.0版本
    pip3 install onnx==1.10.0 --user
  • ONNX 1.9.0版本
    pip3 install onnx==1.9.0 --user
  • ONNX 1.8.0版本
    pip3 install onnx==1.8.0 --user

ONNX Runtime

1.16.0、1.9.0、1.8.0、1.6.0
  • ONNX Runtime 1.16.0版本
    pip3 install onnxruntime==1.16.0 --user
  • ONNX Runtime 1.9.0版本
    pip3 install onnxruntime==1.9.0 --user
  • ONNX Runtime1.8.0版本
    pip3 install onnxruntime==1.8.0 --user
  • ONNX Runtime1.6.0版本
    pip3 install onnxruntime==1.6.0 --user

python

以3.9.2版本为例

Ubuntu操作系统请参见安装Python3.9.2（Ubuntu）。

EulerOS操作系统请参见安装Python3.9.2（EulerOS ）。

numpy
  • PyTorch 2.1.0配套：>=1.21.6
  • PyTorch 1.10.0、1.8.0、1.5.0、1.4.0配套：1.20.0~1.23.5
  • PyTorch 2.1.0版本
    pip3 install numpy==1.21.6 --user
  • PyTorch 1.10.0、1.8.0、1.5.0、1.4.0版本
    pip3 install numpy==1.20.0 --user

protobuf
  • PyTorch 2.1.0配套：>=3.20.2
  • PyTorch 1.10.0、1.8.0、1.5.0、1.4.0配套：3.13.0+
  • PyTorch 2.1.0版本
    pip3 install protobuf==3.20.2 --user
  • PyTorch 1.10.0、1.8.0、1.5.0、1.4.0版本
    pip3 install protobuf==3.13.0 --user

上传软件包

以AMCT的安装用户将Ascend-cann-amct_{software version}_linux-{arch}.tar.gz软件包上传到Linux服务器任意目录下，本示例为上传到$HOME/amct/目录。

执行如下命令解压AMCT软件包：

tar -zxvf Ascend-cann-amct-{software version}_linux-{arch}.tar.gz

获得如下内容：

表3 AMCT软件包解压后内容

一级目录

二级目录

说明

使用场景及注意事项

amct_caffe/

Caffe框架AMCT目录。
  • Atlas A2训练系列产品/Atlas 800I A2推理产品不支持Caffe框架。
  • 使用方法请参见《AMCT工具（Caffe）》。
  • 需要搭建Caffe环境，量化完的模型，如果要执行推理，则需要借助安装昇腾AI处理器的推理环境。

amct_caffe-{version}-py3-none-linux_{arch}.whl

Caffe框架AMCT安装包。

caffe_patch.tar.gz

Caffe源代码增强包。

amct_tf/

TensorFlow框架AMCT目录。

amct_tensorflow-{version}-py3-none-linux_{arch}.tar.gz

TensorFlow框架AMCT安装包，通过源码编译方式进行安装。
  • amct_tensorflow与amct_tensorflow_ascend软件包不能同时安装。
  • 使用方法请参见《AMCT工具（TensorFlow）》。
  • 需要搭建TensorFlow环境，量化完的模型，如果要执行推理，则需要借助安装昇腾AI处理器的推理环境。

amct_tensorflow_ascend-{version}-py3-none-linux_{arch}.tar.gz

基于TF_Adapter的AMCT安装包，通过源码编译方式进行安装。
  • amct_tensorflow与amct_tensorflow_ascend软件包不能同时安装。
  • 只有Atlas 训练系列产品支持该目录下的特性。
  • 需要搭建TensorFlow环境，并借助带有NPU设备的在线推理环境，量化完的模型，可以基于昇腾AI处理器完成在线推理业务。

amct_pytorch/

PyTorch框架AMCT目录。
  • 使用方法请参见《AMCT工具（PyTorch）》。
  • 需要搭建PyTorch环境，量化完的模型，如果要执行推理，则需要借助安装昇腾AI处理器的推理环境。

amct_pytorch-{version}-py3-none-linux_{arch}.tar.gz

PyTorch框架AMCT源码安装包。

amct_onnx/

ONNX模型AMCT目录。

amct_onnx-{version}-py3-none-linux_{arch}.whl

ONNX模型AMCT安装包。

amct_onnx_op.tar.gz

AMCT基于ONNX Runtime的自定义算子包。

amct_ms/

MindSpore框架AMCT目录。
  • Atlas 200/300/500 推理产品：不支持amct_ms目录下的相关特性。
  • Atlas 200I/500 A2推理产品：不支持amct_ms目录下的相关特性。
  • Atlas 推理系列产品：不支持amct_ms目录下的相关特性。
  • 使用方法请参见《AMCT工具（MindSpore）》。
  • 需要搭建MindSpore环境，并借助带NPU设备的训练环境，将MindSpore模型量化后输出为*.air格式模型，只能借助带NPU设备的训练环境，量化后的模型要进行推理，也可以借助该环境完成。

amct_mindspore-{version}-py3-none-linux_{arch}.whl

MindSpore框架AMCT安装包。

conf/

-

-

记录包的安装信息，用户无需关注。

latest_manager/

-

-

安装升级使用的公共脚本，用户无需关注。

其中：{version}表示AMCT具体版本号，{software version}为软件版本号，{arch}表示具体操作系统架构。

父主题： 工具安装