AMCT（ONNX）

操作系统及版本

EulerOS release 2.0 (SP10) aarch64

cat /etc/*release && uname -m

仅支持基于CPU量化。

操作系统及版本

Ubuntu 20.04 x86_64

请从Ubuntu官网下载对应版本软件进行安装，安装完成后查询命令为：

cat /etc/*release && uname -m

支持基于CPU，GPU的量化。

操作系统及版本

Ubuntu 20.04 aarch64

请从Ubuntu官网下载对应版本软件进行安装，安装完成后查询命令为：

cat /etc/*release && uname -m

支持基于CPU，GPU的量化。

ONNX和Opset

1.14.0、1.10.0、1.9.0、1.8.0

推荐使用1.14.0

• ONNX 1.14.0配套Opset v16，ONNX Runtime 1.16.0，Python3.10.0
• ONNX 1.10.0配套Opset v8~v14，ONNX Runtime 1.9.0，Python3.9.2
• ONNX 1.9.0配套Opset v8~v14，ONNX Runtime 1.8.0，Python3.9.2
• ONNX 1.8.0配套Opset v8~v13，ONNX Runtime 1.6.0，Python3.7.5

请参见安装依赖。

• 仅支持ai.onnx算子域中Opset v8~v14版本的算子。
• 1.8.0版本ONNX Runtime存在的已知问题：当部署在具有性能和高效内核（P核和E核）混合架构功能的英特尔第12代处理器上时，可能会导致分段错误。详情及其他已知问题请单击Link进行查看。
• ONNX Runtime 1.6.0仅支持输入为FP32的数据进行量化。

ONNX Runtime

1.16.0、1.9.0、1.8.0、1.6.0

ONNX执行框架，请参见安装依赖。

CUDA、cuDNN

• ONNX Runtime 1.16.0配套：

  CUDA 11.8，cuDNN 8.2.4~8.9.0

• ONNX Runtime 1.9.0配套：

  CUDA 11.4，cuDNN 8.2.4

• ONNX Runtime 1.8.0配套：

  CUDA 11.0，cuDNN 8.0.5

请用户自行获取相关软件包进行安装。

CUDA获取路径：https://developer.nvidia.com/cuda-toolkit-archive

cuDNN获取路径：https://developer.nvidia.com/zh-cn/cudnn

如果使用ONNX Runtime GPU模式执行量化功能，则CUDA、cuDNN软件必须安装。

Python

Python3.7.x（3.7.0~3.7.11）、Python3.8.x（3.8.0~3.8.11）、Python3.9.x（3.9.0~3.9.7）、Python3.10.x（3.10.0~3.10.12）

推荐使用Python 3.10.0

Ubuntu操作系统请参见安装Python3.9.2（Ubuntu）。

EulerOS操作系统请参见安装Python3.9.2（EulerOS ）。

• 安装依赖时，请确保服务器能够连接网络。
• 本手册以Python3.9.2为例进行介绍，相应环境变量和安装命令以实际安装Python版本为准。

numpy

• ONNX 1.14.0配套：1.21.6~1.26.4
• ONNX 1.10.0、1.9.0、1.8.0配套：1.20.0~1.23.5

请参见安装依赖。

protobuf

• ONNX 1.14.0配套：3.20.2~3.20.3
• ONNX 1.10.0、1.9.0、1.8.0配套：3.13.0+