昇腾社区首页
中文
注册

构建训练&推理容器镜像(openEuler系列)

本章节以在容器镜像openEuler 20.03上为例,制作包含CANN软件包Toolkit/NNAE、Kernels的CANN训练&推理容器镜像。

可以参考本节内容定制修改Dockerfile,自定义制作CANN容器镜像。

  1. 执行如下命令,在任意目录(如“/home”)新建ascend-cann文件夹。
    1
    mkdir ascend-cann
    
  2. 执行如下命令,进入ascend-cann目录。
    1
    cd ascend-cann
    
    离线安装时,请在当前目录准备以下软件包。
    表1 所需软件或文件

    软件或文件

    说明

    获取方法

    Toolkit或NNAE

    Toolkit和NNAE根据业务场景选其一安装。

    参见准备软件包

    Kernels

    二进制算子包,可以节省算子编译时间,根据业务场景选择安装。

  3. 执行vi Dockerfile命令新建Dockerfile文件,添加如下内容。用户可以根据操作系统类型和待安装的软件包,自行修改脚本中的加粗字体信息。
    离线安装时,请添加如下内容:
    ARG BASE=$BASE
    FROM $BASE
    
    WORKDIR /tmp
    COPY . ./
    
    # 设置驱动路径环境变量
    ARG ASCEND_BASE=/usr/local/Ascend
    ENV LD_LIBRARY_PATH=\
    $ASCEND_BASE/driver/lib64:\
    $ASCEND_BASE/driver/lib64/common:\
    $ASCEND_BASE/driver/lib64/driver:\
    $ASCEND_BASE/driver/tools/hccn_tool/:/lib64:\
    $LD_LIBRARY_PATH
    
    SHELL ["/bin/bash","-c"]
    
    # 1 环境准备
    RUN yum install -y python3-pip && \
        yum install -y shadow-utils && \
        ln -s /usr/lib64/libpython3.7m.so.1.0 /usr/lib64/libpython3.7m.so && \
        mkdir ~/.pip && \
        echo -e '[global]\nindex-url = https://mirrors.huaweicloud.com/repository/pypi/simple\ntrusted-host = mirrors.huaweicloud.com' >> ~/.pip/pip.conf && \
        pip3 install pip==23.0.1
    
    # 2 安装CANN,以toolkit包为例,请自行替换为待安装的软件包
    ARG CANN_PKG=Ascend-cann-toolkit_*.run
    ARG KERNEL_PKG=Ascend-cann-kernels-*.run
    RUN chmod +x $CANN_PKG && \
        ./$CANN_PKG --quiet --install --install-path=$ASCEND_BASE --install-for-all && \
        chmod +x $KERNEL_PKG && \
        ./$KERNEL_PKG --quiet --install --install-for-all && \
        pip3 install attrs && \
        pip3 install numpy==1.21.6 && \
        pip3 install decorator && \
        pip3 install sympy && \
        pip3 install cffi && \
        pip3 install pyyaml && \
        pip3 install pathlib2 && \
        pip3 install psutil && \
        pip3 install protobuf==3.20.0 && \
        pip3 install scipy && \
        pip3 install requests && \
        pip3 install absl-py
    
    # 3 环境清理
    RUN rm -rf /root/.cache/pip && \
        rm -rf ./*
    Yum在线安装时,请添加如下内容:
    ARG BASE=$BASE
    FROM $BASE
    
    WORKDIR /tmp
    COPY . ./
    
    # 设置驱动路径环境变量
    ARG ASCEND_BASE=/usr/local/Ascend
    ENV LD_LIBRARY_PATH=\
    $ASCEND_BASE/driver/lib64:\
    $ASCEND_BASE/driver/lib64/common:\
    $ASCEND_BASE/driver/lib64/driver:\
    $ASCEND_BASE/driver/tools/hccn_tool/:/lib64:\
    $LD_LIBRARY_PATH
    
    SHELL ["/bin/bash","-c"]
    
    # 1 环境准备
    RUN yum install -y python3-pip && \
        yum install -y shadow-utils && \
        ln -s /usr/lib64/libpython3.7m.so.1.0 /usr/lib64/libpython3.7m.so && \
        mkdir ~/.pip && \
        echo -e '[global]\nindex-url = https://mirrors.huaweicloud.com/repository/pypi/simple\ntrusted-host = mirrors.huaweicloud.com' >> ~/.pip/pip.conf && \
        pip3 install pip==23.0.1
    
    # 2 配置昇腾源,baseurl以aarch架构为例,x86架构请修改加粗字体为x86_64
    RUN echo [ascend] > /etc/yum.repos.d/ascend.repo &&\
        echo "name=ascend" >> /etc/yum.repos.d/ascend.repo &&\
        echo "baseurl=https://repo.oepkgs.net/ascend/cann/aarch64/"  >> /etc/yum.repos.d/ascend.repo &&\
        echo "enabled=1" >> /etc/yum.repos.d/ascend.repo &&\
        echo "gpgcheck=1" >> /etc/yum.repos.d/ascend.repo &&\
        echo "gpgkey=https://repo.oepkgs.net/ascend/cann/RPM-GPG-KEY-CANN" >> /etc/yum.repos.d/ascend.repo &&\
        echo "sslverify=false"  >> /etc/yum.repos.d/ascend.repo
    
    # 3 安装CANN,以Toolkit和kernels包为例,<chip_type>表示处理器类型,可以通过npu-smi info查询,请自行替换为待安装的软件包
    RUN yum install -y Ascend-cann-toolkit  &&\
        yum install -y Ascend-cann-kernels-<chip_type>  &&\
        pip3 install attrs && \
        pip3 install numpy==1.21.6 && \
        pip3 install decorator && \
        pip3 install sympy && \
        pip3 install cffi && \
        pip3 install pyyaml && \
        pip3 install pathlib2 && \
        pip3 install psutil && \
        pip3 install protobuf==3.20.0 && \
        pip3 install scipy && \
        pip3 install requests && \
        pip3 install absl-py
    
    # 4 环境清理
    RUN rm -rf /root/.cache/pip && \
        rm -rf ./*

    修改后执行:wq!命令保存文件并退出。

    当前dockerfile脚本会安装最新或指定版本的依赖,若安装报错或更多版本要求请参考CANN依赖列表安装。

  4. 在当前目录执行以下命令构建镜像。
    1
    docker build -t {image_name}:{new_tag} --build-arg BASE={image_name}:{tag} .
    

    注意不要遗漏命令结尾的“.”,命令示例如下所示。

    1
    docker build -t ascend-cann:8.1.RC1-openEuler --build-arg BASE=openeuler-20.03-lts-sp2:latest .
    
    表2 命令参数说明

    参数

    说明

    {image_name}:{new_tag}

    此次构建的镜像名称与标签,建议将{image_name}:{new_tag}命名为“软件包:软件包版本-容器OS”(例如“ascend-cann:8.1.RC1-openEuler”)

    --build-arg

    指定dockerfile文件内的参数

    {image_name}:{tag}

    {image_name}:{tag}安装前准备的OS基础容器镜像