安装步骤(CTyunOS 22.06)
配置最大线程数
训练场景下,OS的最大线程数可能不满足训练要求,需执行以下命令修改最大线程数为无限制。
- 以root用户登录安装环境。
- 配置环境变量,修改线程数为无限制,编辑“/etc/profile”文件,在文件的最后添加如下内容后保存退出:
ulimit -u unlimited
- 执行如下命令使环境变量生效。
source /etc/profile
检查系统时间
检查系统时间,避免编译安装Python和gcc时陷入死循环。
- 执行如下命令,查询系统时间。
date
回显类似如下信息:Mon Dec 5 03:20:03 CST 2022
- 若与当前时间一致,跳过该步骤。若与当前时间不一致,执行如下命令设置(以下时间仅为示例,请用户根据当前时间为准)。
date -s '2022-12-06 14:30:00' hwclock -w
回显如下信息表示设置成功。
Tue Dec 6 14:30:00 CST 2022
安装依赖
- 以root用户登录服务器,检查系统是否安装Python依赖以及gcc等软件。分别使用如下命令检查是否安装gcc,make以及Python依赖软件等。
gcc --version g++ --version make --version cmake --version rpm -qa |grep unzip rpm -qa |grep zlib-devel rpm -qa |grep libffi-devel rpm -qa |grep openssl-devel rpm -qa |grep pciutils rpm -qa |grep net-tools rpm -qa |grep sqlite-devel rpm -qa |grep lapack-devel rpm -qa |grep gcc-gfortran
若分别返回如下信息则说明已经安装,进入下一步(以下回显仅为示例,请以实际情况为准)。
gcc (GCC) 7.3.0 g++ (GCC) 7.3.0 GNU Make 4.2.1 cmake version 3.12.1 unzip-6.0-45.oe1.aarch64 zlib-devel-1.2.11-17.oe1.aarch64 libffi-devel-3.3-7.oe1.aarch64 openssl-devel-1.1.1d-9.oe1.aarch64 pciutils-3.6.2-5.oe1.aarch64 net-tools-2.0-0.54.oe1.aarch64 sqlite-devel-3.24.0-9.oe1.aarch64 lapack-devel-3.8.0-16.oe1.aarch64 gcc-gfortran-7.3.0-20190804.h31.oe1.aarch64
否则请执行如下安装命令(如果只有部分软件未安装,则如下命令修改为还未安装的软件即可):yum install -y gcc gcc-c++ make cmake unzip zlib-devel libffi-devel openssl-devel pciutils net-tools sqlite-devel lapack-devel gcc-gfortran
sqlite-devel需要在Python安装之前安装,如果用户操作系统已经安装满足版本要求的Python环境,在此之后再安装sqlite-devel,则需要重新编译Python环境。
检查系统安装的cmake是否符合版本要求(具体要求请参见依赖列表)。
- 检查系统是否安装满足版本要求的Python开发环境(具体要求请参见依赖列表,此步骤以环境上需要使用Python 3.7.x为例进行说明)。
执行命令python3 --version,如果返回信息满足python版本要求,则直接进入3。
否则可参考如下命令安装Python(以Python3.7.5为例)。- 安装如下依赖,确保编译安装的Python不会缺少_lzma和_bz2模块,_lzma和_bz2是模型训练时所需的依赖模块。
yum install -y xz-devel bzip2-devel
_lzma依赖于xz-devel软件包;_bz2依赖于bzip2-devel软件包。
- 使用wget下载Python3.7.5源码包,可以下载到安装环境的任意目录,命令为:
wget https://www.python.org/ftp/python/3.7.5/Python-3.7.5.tgz
- 进入下载后的目录,解压源码包,命令为:
tar -zxvf Python-3.7.5.tgz
- 进入解压后的文件夹,执行配置、编译和安装命令:
cd Python-3.7.5 ./configure --prefix=/usr/local/python3.7.5 --enable-loadable-sqlite-extensions --enable-shared make -j make install
参数说明如下:
- “--prefix”:用于指定Python安装路径,用户根据实际情况进行修改。
- “--enable-loadable-sqlite-extensions”:用于加载sqlite-devel依赖。
- “--enable-shared”:用于编译出libpython3.7m.so.1.0动态库。
本手册以--prefix=/usr/local/python3.7.5路径为例进行说明。执行配置、编译和安装命令后,安装包在“/usr/local/python3.7.5”路径,libpython3.7m.so.1.0动态库在“/usr/local/python3.7.5/lib/libpython3.7m.so.1.0”路径。
- 设置Python3.7.5环境变量。
# 用于设置Python3.7.5库文件路径 export LD_LIBRARY_PATH=/usr/local/python3.7.5/lib:$LD_LIBRARY_PATH # 如果用户环境存在多个Python3版本,则指定使用Python3.7.5版本 export PATH=/usr/local/python3.7.5/bin:$PATH
- 通过以上export方式设置环境变量,该种方式设置的环境变量只在当前窗口有效。
- 您也可以通过将以上命令写入~/.bashrc文件中,然后执行source ~/.bashrc命令,使上述环境变量永久生效。
如果后续您有使用环境上其他Python版本的需求或者安装Python3.7.5前系统默认Python3版本就为3.7.x,则不建议将以上命令写入到~/.bashrc文件中。
- 执行如下命令查看Python版本。返回相关版本信息,表示安装成功。
python3 -V pip3 -V
- 安装如下依赖,确保编译安装的Python不会缺少_lzma和_bz2模块,_lzma和_bz2是模型训练时所需的依赖模块。
- 安装CANN前请先使用pip3 list命令检查是否安装Python依赖(Python依赖请参见依赖列表)。
- 如果执行命令pip3 list报“-bash: pip3: command not found”,可执行yum install -y python3-pip安装pip指令。
- 若已经安装,则请跳过该步骤。
- 若未安装,则执行如下操作安装。
- 请在安装前配置好pip源,具体可参考配置pip源。
- 安装前,建议执行命令pip3 install --upgrade pip进行升级,避免因pip版本过低导致安装失败。
- 执行如下命令安装(如果只有部分软件未安装,则如下命令修改为还未安装的软件即可)。
pip3 install attrs cython numpy decorator sympy cffi pyyaml pathlib2 psutil protobuf scipy requests absl-py
依赖安装完成后,请用户恢复为原umask值(参考检查root用户的umask,删除.bashrc文件中umask 0022一行)。基于安全考虑,建议用户将umask值改为0027。
父主题: 安装依赖(Arm)