部署物理机开发环境

  • 当前支持在Ubuntu 20.04、CentOS 7系统中进行物理机开发环境部署。
  • 用户请勿修改编译目录下除run.sh文件外的其他文件代码。
  1. 参考CANN 软件安装指南安装CANN软件包和TensorFlow适配昇腾插件。
  2. 配置环境变量。

    CANN软件提供进程级环境变量设置脚本,供用户在进程中引用,以自动完成环境变量设置。用户进程结束后自动失效。

    可在程序启动的Shell脚本中使用如下命令设置CANN的相关环境变量,也可通过命令行执行如下命令(以root用户默认安装路径“/usr/local/Ascend”为例):

    source /usr/local/Ascend/ascend-toolkit/set_env.sh
    source /usr/local/Ascend/tfplugin/set_env.sh

  3. 通过如下命令解压软件包,若未指定具体路径,默认解压当前目录下,解压命令中需要添加--no-same-owner参数。

    # 解压到当前目录下
    tar -xf Ascend-mindxsdk-mxrec-{version}_linux-{arch}.tar.gz --no-same-owner
    # 解压到特定目录下
    tar -xf Ascend-mindxsdk-mxrec-{version}_linux-{arch}.tar.gz --no-same-owner -C 指定路径

  4. 解压完其目录结构参见如下。

    1
    2
    3
    4
    5
    6
    mindxsdk-mxrec/
    |-- tf1_whl
    |   `-- mx_rec-{version}-py3-none-linux_{arch}.whl    #适用于TensorFlow 1.15.0版本的mx_rec框架Wheel包
    |-- tf2_whl
    |   `-- mx_rec-{version}-py3-none-linux_{arch}.whl    #适用于TensorFlow 2.6.5版本的mx_rec框架Wheel包
    `-- version.info
    

  5. 安装软件包中的Wheel包。(请根据实际需求,选取对应TensorFlow版本匹配的Wheel包。)

    pip3 install mx_rec-{version}-py3-none-linux_{arch}.whl 
    Wheel包默认安装在Python的“site-packages”路径,如通过“--target”参数指定目录,在安装完成后需要将Rec SDK路径加入“PYTHONPATH”环境变量。
    export PYTHONPATH={rec_install_path}:{rec_install_path}/mx_rec:$PYTHONPATH

  6. 安装依赖,若未构建镜像,直接在物理机上进行开发,则须安装以下Python依赖。

    1
    pip3.7 install numpy decorator sympy==1.4 cffi==1.12.3 pyyaml pathlib2 grpcio grpcio-tools protobuf==3.20.0 scipy requests mpi4py easydict scikit-learn==0.20.0 attrs
    
    horovod依赖安装前需配置“HOROVOD_WITH_MPI”“HOROVOD_WITH_TENSORFLOW”,依赖安装命令参考如下。
    HOROVOD_WITH_MPI=1 HOROVOD_WITH_TENSORFLOW=1 pip3.7 install horovod --no-cache-dir

  7. 可选:如需使用动态扩容功能,请参见(可选)片上内存显存侧动态扩容算子包安装,编译安装动态扩容算子包。
  8. 可选:如需使用Hadoop分布式文件系统,请参考Hadoop官方文档进行环境部署和集群搭建。推荐使用Hadoop-2.7.5版本。