开发者
资源

AMCT(PyTorch)

本章节以Ubuntu 20.04为例,详述安装前准备,AMCT(PyTorch)支持在NPU、CPU两种处理器中执行压缩,版本配套信息如下:

表1 配套版本信息

类别

版本限制

获取方式

注意事项

操作系统及版本

Ubuntu 20.04 x86_64

请从Ubuntu官网下载对应版本软件进行安装,安装完成后查询命令为:

cat /etc/*release && uname -m

  • 支持基于CPU,NPU的量化。
  • PyTorch框架AMCT包安装时,默认为8线程编译,故需要操作系统运行内存>=12G。

操作系统及版本

Ubuntu 20.04 aarch64

请从Ubuntu官网下载对应版本软件进行安装,安装完成后查询命令为:

cat /etc/*release && uname -m

  • 支持基于CPU,NPU的量化。
  • PyTorch框架AMCT包安装时,默认为8线程编译,故需要操作系统运行内存>=12G。

PyTorch

2.7.1、2.1.0、1.10.0、1.8.0、1.5.0、1.4.0

  • PyTorch 2.7.1配套ONNX 1.18.0,ONNX Runtime 1.20.0,Python3.12/3.13
  • PyTorch 2.7.1配套ONNX 1.16.1,ONNX Runtime 1.20.0,Python3.11.x
  • PyTorch 2.1.0配套ONNX 1.14.0,ONNX Runtime 1.16.0,Python3.10.0/Python3.11.x
  • PyTorch 1.10.0配套ONNX 1.9.0,ONNX Runtime 1.8.0,Python3.9.2
  • PyTorch 1.8.0、1.5.0、1.4.0配套ONNX 1.8.0,ONNX Runtime 1.6.0,Python3.7.5

用户根据实际情况选择安装CPU或GPU,请参见安装依赖

  • 1.4.0版本不再推荐使用,使用时会有告警提示信息。
  • PyTorch 1.8.0及以下版本不支持>=2GB模型的压缩。
  • PyTorch 2.1.0以下版本不支持基于torch module的量化特性。

NPU 环境

准备带有AI处理器的硬件环境,并安装驱动固件和CANN软件包,具体安装步骤请参见《CANN 软件安装指南》

如果使用NPU执行量化功能,则驱动固件和CANN软件包必须安装。

ONNX

1.18.0、1.16.1、1.14.0、1.9.0、1.8.0

请参见安装依赖

  • 安装依赖时,请确保服务器能够连接网络。
  • 本手册以Python3.9.2为例进行介绍,相应环境变量和安装命令以实际安装Python版本为准。
  • 1.8.0版本ONNX Runtime存在的已知问题请单击Link进行查看。

ONNX Runtime

1.20.0、1.16.0、1.8.0、1.6.0

Python

Python3.7.x、Python3.8.x、Python3.9.x、Python3.10.x、Python3.11.x、Python3.12/3.13

Ubuntu操作系统请参见安装Python3.9.2(Ubuntu)

EulerOS操作系统请参见安装Python3.9.2(EulerOS )

numpy

  • PyTorch 2.7.1、Python3.12/3.13配套:>=2.0.0
  • PyTorch 2.7.1、Python3.11.x配套:1.24.2~1.26.4
  • PyTorch 2.1.0配套:>=1.21.6
  • PyTorch 1.10.0、1.8.0、1.5.0、1.4.0配套:1.20.0~1.23.5

请参见安装依赖

protobuf

  • PyTorch 2.7.1、Python3.12/3.13配套:3.20.3
  • PyTorch 2.7.1、Python3.11.x配套:3.20.2~3.20.3
  • PyTorch 2.1.0、1.10.0、1.8.0、1.5.0、1.4.0配套:>=3.20.2