文档
注册
评分
提单
论坛
小AI

安装步骤(CTyunOS 22.06)

配置最大线程数

训练场景下,OS的最大线程数可能不满足训练要求,需执行以下命令修改最大线程数为无限制。

  1. 以root用户登录安装环境。
  2. 配置环境变量,修改线程数为无限制,编辑“/etc/profile”文件,在文件的最后添加如下内容后保存退出:
    ulimit -u unlimited
  3. 执行如下命令使环境变量生效。
    source /etc/profile

检查root用户的umask

如果以root用户安装Python后,其他用户也需要使用Python,请按照本步骤设置umask。

  1. root用户登录安装环境。

  2. 检查root用户的umask值。

    umask
  3. 如果umask不等于0022,请执行如下操作配置。

    1. 在任意目录下执行如下命令,打开.bashrc文件:
      vi ~/.bashrc 

      在文件最后一行后面添加umask 0022内容。

    2. 执行:wq!命令保存文件并退出。
    3. 执行source ~/.bashrc命令使其立即生效。

    依赖安装完成后,请用户恢复为原umask值(删除.bashrc文件中umask 0022一行)。基于安全考虑,建议用户将umask值改为0027。

检查系统时间

检查系统时间,避免编译安装Python和gcc时陷入死循环。
  1. 执行如下命令,查询系统时间。
    date
    回显类似如下信息:
    Mon Dec  5 03:20:03 CST 2022
  2. 若与当前时间一致,跳过该步骤。若与当前时间不一致,执行如下命令设置(以下时间仅为示例,请用户根据当前时间为准)。
    date -s '2022-12-06 14:30:00'
    hwclock -w

    回显如下信息表示设置成功。

    Tue Dec  6 14:30:00 CST 2022

安装依赖

  1. root用户登录服务器,检查系统是否安装Python依赖以及gcc等软件。
    分别使用如下命令检查是否安装gcc,make以及Python依赖软件等。
    gcc --version
    g++ --version
    make --version
    cmake --version
    rpm -qa |grep unzip
    rpm -qa |grep zlib-devel
    rpm -qa |grep libffi-devel
    rpm -qa |grep openssl-devel
    rpm -qa |grep pciutils
    rpm -qa |grep net-tools
    rpm -qa |grep sqlite-devel
    rpm -qa |grep lapack-devel
    rpm -qa |grep gcc-gfortran

    若分别返回如下信息则说明已经安装,进入下一步(以下回显仅为示例,请以实际情况为准)。

    gcc (GCC) 7.3.0
    g++ (GCC) 7.3.0
    GNU Make 4.2.1
    cmake version 3.12.1
    unzip-6.0-45.oe1.aarch64
    zlib-devel-1.2.11-17.oe1.aarch64
    libffi-devel-3.3-7.oe1.aarch64 
    openssl-devel-1.1.1d-9.oe1.aarch64 
    pciutils-3.6.2-5.oe1.aarch64
    net-tools-2.0-0.54.oe1.aarch64 
    sqlite-devel-3.24.0-9.oe1.aarch64
    lapack-devel-3.8.0-16.oe1.aarch64
    gcc-gfortran-7.3.0-20190804.h31.oe1.aarch64
    否则请执行如下安装命令(如果只有部分软件未安装,则如下命令修改为还未安装的软件即可):
    yum install -y gcc gcc-c++ make cmake unzip zlib-devel libffi-devel openssl-devel pciutils net-tools sqlite-devel lapack-devel gcc-gfortran

    sqlite-devel需要在Python安装之前安装,如果用户操作系统已经安装满足版本要求的Python环境,在此之后再安装sqlite-devel,则需要重新编译Python环境。

    检查系统安装的cmake是否符合版本要求(具体要求请参见依赖列表)。

  2. 检查系统是否安装满足版本要求的Python开发环境(具体要求请参见依赖列表,此步骤以环境上需要使用Python 3.7.x为例进行说明)。

    执行命令python3 --version,如果返回信息满足python版本要求,则直接进入3

    否则可参考如下命令安装Python(以Python3.7.5为例)。
    1. 安装如下依赖,确保编译安装的Python不会缺少_lzma和_bz2模块,_lzma和_bz2是模型训练时所需的依赖模块。
      yum install -y xz-devel bzip2-devel

      _lzma依赖于xz-devel软件包;_bz2依赖于bzip2-devel软件包。

    2. 使用wget下载Python3.7.5源码包,可以下载到安装环境的任意目录,命令为:
      wget https://www.python.org/ftp/python/3.7.5/Python-3.7.5.tgz
    3. 进入下载后的目录,解压源码包,命令为:
      tar -zxvf Python-3.7.5.tgz
    4. 进入解压后的文件夹,执行配置、编译和安装命令:
      cd Python-3.7.5
      ./configure --prefix=/usr/local/python3.7.5 --enable-loadable-sqlite-extensions --enable-shared
      make -j
      make install

      参数说明如下:

      • “--prefix”:用于指定Python安装路径,用户根据实际情况进行修改。
      • “--enable-loadable-sqlite-extensions”:用于加载sqlite-devel依赖。
      • “--enable-shared”:用于编译出libpython3.7m.so.1.0动态库。

      本手册以--prefix=/usr/local/python3.7.5路径为例进行说明。执行配置、编译和安装命令后,安装包在“/usr/local/python3.7.5”路径,libpython3.7m.so.1.0动态库在“/usr/local/python3.7.5/lib/libpython3.7m.so.1.0”路径。

    5. 设置Python3.7.5环境变量。
      #  用于设置Python3.7.5库文件路径
      export LD_LIBRARY_PATH=/usr/local/python3.7.5/lib:$LD_LIBRARY_PATH
      #  如果用户环境存在多个Python3版本,则指定使用Python3.7.5版本
      export PATH=/usr/local/python3.7.5/bin:$PATH
      • 通过以上export方式设置环境变量,该种方式设置的环境变量只在当前窗口有效。
      • 您也可以通过将以上命令写入~/.bashrc文件中,然后执行source ~/.bashrc命令,使上述环境变量永久生效。

        如果后续您有使用环境上其他Python版本的需求或者安装Python3.7.5前系统默认Python3版本就为3.7.x,则不建议将以上命令写入到~/.bashrc文件中。

    6. 执行如下命令查看Python版本。返回相关版本信息,表示安装成功。
      python3 -V
      pip3 -V
  3. 安装CANN前请先使用pip3 list命令检查是否安装Python依赖(Python依赖请参见依赖列表)。
    • 如果执行命令pip3 list报“-bash: pip3: command not found”,可执行yum install -y python3-pip安装pip指令。
    • 若已经安装,则请跳过该步骤。
    • 若未安装,则执行如下操作安装。
      1. 请在安装前配置好pip源,具体可参考配置pip源
      2. 安装前,建议执行命令pip3 install --upgrade pip进行升级,避免因pip版本过低导致安装失败。
      3. 执行如下命令安装(如果只有部分软件未安装,则如下命令修改为还未安装的软件即可)。
        pip3 install attrs cython numpy decorator sympy cffi pyyaml pathlib2 psutil protobuf scipy requests absl-py

依赖安装完成后,请用户恢复为原umask值(参考检查root用户的umask,删除.bashrc文件中umask 0022一行)。基于安全考虑,建议用户将umask值改为0027。

搜索结果
找到“0”个结果

当前产品无相关内容

未找到相关内容,请尝试其他搜索词