部署物理机开发环境

- 当前支持在Ubuntu 20.04、CentOS 7系统中进行物理机开发环境部署。
- 用户请勿修改编译目录下除run.sh文件外的其他文件代码。
- 参考《CANN 软件安装指南》安装CANN软件包和TensorFlow适配昇腾插件。
- 配置环境变量。
CANN软件提供进程级环境变量设置脚本,供用户在进程中引用,以自动完成环境变量设置。用户进程结束后自动失效。
可在程序启动的Shell脚本中使用如下命令设置CANN的相关环境变量,也可通过命令行执行如下命令(以root用户默认安装路径“/usr/local/Ascend”为例):
source /usr/local/Ascend/ascend-toolkit/set_env.sh source /usr/local/Ascend/tfplugin/set_env.sh
- 通过如下命令解压软件包,若未指定具体路径,默认解压当前目录下,解压命令中需要添加--no-same-owner参数。
# 解压到当前目录下 tar -xf Ascend-mindxsdk-mxrec-{version}_linux-{arch}.tar.gz --no-same-owner # 解压到特定目录下 tar -xf Ascend-mindxsdk-mxrec-{version}_linux-{arch}.tar.gz --no-same-owner -C 指定路径
- 解压完其目录结构参见如下。
mindxsdk-mxrec/ |-- cust_op #自定义算子 | |-- cust_op_by_addr | `-- fused_lazy_adam |-- examples #样例模型 | |-- DCNv2 | |-- WideDeep | |-- demo | |-- dlrm | |-- ps_adapt_to_mxrec | |-- rec_infer | `-- xDeepFM |-- tf1_whl | `-- mx_rec-{version}-py3-none-{arch}.whl #适用于TensorFlow 1.15.0版本的mx_rec框架Wheel包 |-- tf2_whl | `-- mx_rec-{version}-py3-none-{arch}.whl #适用于TensorFlow 2.6.5版本的mx_rec框架Wheel包 `-- version.info
- 安装软件包中的Wheel包。(请根据实际需求,选取对应TensorFlow版本匹配的Wheel包。)
pip3 install mx_rec-{version}-py3-none-{arch}.whl
Wheel包默认安装在Python的“site-packages”路径,如通过“--target”参数指定目录,在安装完成后需要将Rec SDK路径加入“PYTHONPATH”环境变量。export PYTHONPATH={mxrec_install_path}:{mxrec_install_path}/mxRec:$PYTHONPATH
- 安装依赖,若未构建镜像,直接在物理机上进行开发,则须安装以下Python依赖。
pip3.7 install numpy decorator sympy==1.4 cffi==1.12.3 pyyaml pathlib2 grpcio grpcio-tools protobuf==3.20.0 scipy requests mpi4py easydict scikit-learn==0.20.0 attrs
horovod依赖安装前需配置“HOROVOD_WITH_MPI”、“HOROVOD_WITH_TENSORFLOW”,依赖安装命令参考如下。HOROVOD_WITH_MPI=1 HOROVOD_WITH_TENSORFLOW=1 pip3.7 install horovod --no-cache-dir
- 可选:如需使用动态扩容功能,请参考本步骤编译安装动态扩容算子包。
- 进入已解压的Rec SDK软件包“mindxsdk-mxrec/cust_op/cust_op_by_addr”目录中。
- 参考以下命令编译并安装动态扩容算子包。
bash run.sh
- 可选:如需使用Hadoop分布式文件系统,请参考Hadoop官方文档Hadoop官方文档进行环境部署和集群搭建。推荐使用Hadoop-2.7.5版本。
父主题: 安装部署