昇腾社区首页
中文
注册

安装Pytorch比对的Dump数据文件环境

  1. 编译安装hdf5。
    1. 获取代码。
      git clone https://github.com/HDFGroup/hdf5.git 
    2. 切换到 hdf5-1_10_7分支。
      cd hdf5
      git checkout remotes/origin/hdf5-1_10_7 
    3. 编译hdf5。
      ./configure --prefix=/usr/local/hdf5 --enable-cxx
      make -j72                 #-j 后的数值可以根据CPU的核数设置
      make check                # run test suite.
      make install
      make check-install        # verify installation. 
    4. 添加环境变量。
      export PATH=/usr/local/hdf5/bin:$PATH
      export LD_LIBRARY_PATH=/usr/local/hdf5/lib:$LD_LIBRARY_PATH
      export LIBRARY_PATH=/usr/local/hdf5/lib:$LIBRARY_PATH
      export CPATH=/usr/local/hdf5/include:$CPATH 
  2. 修改Pytorch编译选项。
    1. 进入pytorch路径下编辑build.sh文件。
      cd pytorch
      vim build.sh
    2. 修改编译选项。

      NPU版本的修改

      当需要获取基于NPU运行生成模型训练的数据文件时,须将build.sh文件中的“DEBUG=0 USE_DISTRIBUTED=1 USE_HCCL=1 USE_MKLDNN=0 USE_CUDA=0 USE_NPU=1 BUILD_TEST=0 USE_NNPACK=0 python3 setup.py build bdist_wheel”中添加“USE_DUMP=1”字段。

      修改前: DEBUG=0 USE_DISTRIBUTED=1 USE_HCCL=1 USE_MKLDNN=0 USE_CUDA=0 USE_NPU=1 BUILD_TEST=0 USE_NNPACK=0 python3 setup.py build bdist_wheel
      修改后: DEBUG=0 USE_DISTRIBUTED=1 USE_HCCL=1 USE_MKLDNN=0 USE_CUDA=0 USE_NPU=1 BUILD_TEST=0 USE_NNPACK=0 USE_DUMP=1 python3 setup.py build bdist_wheel

      GPU版本的修改

      当需要获取基于GPU运行生成模型训练的数据文件时,须将build.sh文件中的“DEBUG=0 USE_DISTRIBUTED=0 USE_HCCL=0 USE_NCCL=0 USE_MKLDNN=0 USE_CUDA=1 USE_NPU=0 BUILD_TEST=0 USE_NNPACK=0 python3 setup.py build bdist_wheel DEBUG=0 USE_DISTRIBUTED=1 USE_HCCL=1 USE_MKLDNN=0 USE_CUDA=0 USE_NPU=1 BUILD_TEST=0 USE_NNPACK=0 python3 setup.py build bdist_wheel”中添加“USE_DUMP=1”字段。

      修改前:
      # for build GPU torch:DEBUG=0 USE_DISTRIBUTED=0 USE_HCCL=0 USE_NCCL=0 USE_MKLDNN=0 USE_CUDA=1 USE_NPU=0 BUILD_TEST=0 USE_NNPACK=0 python3 setup.py build bdist_wheel
      DEBUG=0 USE_DISTRIBUTED=1 USE_HCCL=1 USE_MKLDNN=0 USE_CUDA=0 USE_NPU=1 BUILD_TEST=0 USE_NNPACK=0 python3 setup.py build bdist_wheel
      修改后: 
      DEBUG=0 USE_DISTRIBUTED=0 USE_HCCL=0 USE_NCCL=0 USE_MKLDNN=0 USE_CUDA=1 USE_NPU=0 BUILD_TEST=0 USE_NNPACK=0 USE_DUMP=1 python3 setup.py build bdist_wheel
      # DEBUG=0 USE_DISTRIBUTED=1 USE_HCCL=1 USE_MKLDNN=0 USE_CUDA=0 USE_NPU=1 BUILD_TEST=0 USE_NNPACK=0 python3 setup.py build bdist_wheel
  3. 编译Pytorch。
    bash build.sh
  4. 安装whl文件。
    1. 编译Python完成后会生成Python的whl包,执行卸载系统上的Python包,安装编译完成的Python包。
      pip3 uninstall torch
      pip3 install torch-1.5.0+ascend.post2-cp37-cp37m-linux_x86_64.whl
    2. 进入Python视图,验证whl文件安装成功。
      python3
      import torch

      若执行import torch命令不提示错误,则Python环境安装成功。