构建训练&推理容器镜像(openEuler系列)
本章节以在容器镜像openEuler 20.03上为例,制作包含CANN软件包Toolkit/NNAE、Kernels的CANN训练&推理容器镜像。
可以参考本节内容定制修改Dockerfile,自定义制作CANN容器镜像。
- 执行如下命令,在任意目录(如“/home”)新建ascend-cann文件夹。
1
mkdir ascend-cann
- 执行如下命令,进入ascend-cann目录。
1
cd ascend-cann
离线安装时,请在当前目录准备以下软件包。表1 所需软件或文件 软件或文件
说明
获取方法
Toolkit或NNAE
Toolkit和NNAE根据业务场景选其一安装。
参见准备软件包。
Kernels
二进制算子包,可以节省算子编译时间,根据业务场景选择安装。
- 执行vi Dockerfile命令新建Dockerfile文件,添加如下内容。用户可以根据操作系统类型和待安装的软件包,自行修改脚本中的加粗字体信息。离线安装时,请添加如下内容:
ARG BASE=$BASE FROM $BASE WORKDIR /tmp COPY . ./ # 设置驱动路径环境变量 ARG ASCEND_BASE=/usr/local/Ascend ENV LD_LIBRARY_PATH=\ $ASCEND_BASE/driver/lib64:\ $ASCEND_BASE/driver/lib64/common:\ $ASCEND_BASE/driver/lib64/driver:\ $ASCEND_BASE/driver/tools/hccn_tool/:/lib64:\ $LD_LIBRARY_PATH SHELL ["/bin/bash","-c"] # 1 环境准备 RUN yum install -y python3-pip && \ yum install -y shadow-utils && \ ln -s /usr/lib64/libpython3.7m.so.1.0 /usr/lib64/libpython3.7m.so && \ mkdir ~/.pip && \ echo -e '[global]\nindex-url = https://mirrors.huaweicloud.com/repository/pypi/simple\ntrusted-host = mirrors.huaweicloud.com' >> ~/.pip/pip.conf && \ pip3 install pip==23.0.1 # 2 安装CANN,以toolkit包为例,请自行替换为待安装的软件包 ARG CANN_PKG=Ascend-cann-toolkit_*.run ARG KERNEL_PKG=Ascend-cann-kernels-*.run RUN chmod +x $CANN_PKG && \ ./$CANN_PKG --quiet --install --install-path=$ASCEND_BASE --install-for-all && \ chmod +x $KERNEL_PKG && \ ./$KERNEL_PKG --quiet --install --install-for-all && \ pip3 install attrs && \ pip3 install numpy==1.21.6 && \ pip3 install decorator && \ pip3 install sympy && \ pip3 install cffi && \ pip3 install pyyaml && \ pip3 install pathlib2 && \ pip3 install psutil && \ pip3 install protobuf==3.20.0 && \ pip3 install scipy && \ pip3 install requests && \ pip3 install absl-py # 3 环境清理 RUN rm -rf /root/.cache/pip && \ rm -rf ./*
Yum在线安装时,请添加如下内容:ARG BASE=$BASE FROM $BASE WORKDIR /tmp COPY . ./ # 设置驱动路径环境变量 ARG ASCEND_BASE=/usr/local/Ascend ENV LD_LIBRARY_PATH=\ $ASCEND_BASE/driver/lib64:\ $ASCEND_BASE/driver/lib64/common:\ $ASCEND_BASE/driver/lib64/driver:\ $ASCEND_BASE/driver/tools/hccn_tool/:/lib64:\ $LD_LIBRARY_PATH SHELL ["/bin/bash","-c"] # 1 环境准备 RUN yum install -y python3-pip && \ yum install -y shadow-utils && \ ln -s /usr/lib64/libpython3.7m.so.1.0 /usr/lib64/libpython3.7m.so && \ mkdir ~/.pip && \ echo -e '[global]\nindex-url = https://mirrors.huaweicloud.com/repository/pypi/simple\ntrusted-host = mirrors.huaweicloud.com' >> ~/.pip/pip.conf && \ pip3 install pip==23.0.1 # 2 配置昇腾源,baseurl以aarch架构为例,x86架构请修改加粗字体为x86_64 RUN echo [ascend] > /etc/yum.repos.d/ascend.repo &&\ echo "name=ascend" >> /etc/yum.repos.d/ascend.repo &&\ echo "baseurl=https://repo.oepkgs.net/ascend/cann/aarch64/" >> /etc/yum.repos.d/ascend.repo &&\ echo "enabled=1" >> /etc/yum.repos.d/ascend.repo &&\ echo "gpgcheck=1" >> /etc/yum.repos.d/ascend.repo &&\ echo "gpgkey=https://repo.oepkgs.net/ascend/cann/RPM-GPG-KEY-CANN" >> /etc/yum.repos.d/ascend.repo &&\ echo "sslverify=false" >> /etc/yum.repos.d/ascend.repo # 3 安装CANN,以Toolkit和kernels包为例,<chip_type>表示处理器类型,可以通过npu-smi info查询,请自行替换为待安装的软件包 RUN yum install -y Ascend-cann-toolkit &&\ yum install -y Ascend-cann-kernels-<chip_type> &&\ pip3 install attrs && \ pip3 install numpy==1.21.6 && \ pip3 install decorator && \ pip3 install sympy && \ pip3 install cffi && \ pip3 install pyyaml && \ pip3 install pathlib2 && \ pip3 install psutil && \ pip3 install protobuf==3.20.0 && \ pip3 install scipy && \ pip3 install requests && \ pip3 install absl-py # 4 环境清理 RUN rm -rf /root/.cache/pip && \ rm -rf ./*
修改后执行:wq!命令保存文件并退出。
- 在当前目录执行以下命令构建镜像。
1
docker build -t {image_name}:{new_tag} --build-arg BASE={image_name}:{tag} .
注意不要遗漏命令结尾的“.”,命令示例如下所示。
1
docker build -t ascend-cann:8.1.RC1-openEuler --build-arg BASE=openeuler-20.03-lts-sp2:latest .
表2 命令参数说明 参数
说明
{image_name}:{new_tag}
此次构建的镜像名称与标签,建议将{image_name}:{new_tag}命名为“软件包:软件包版本-容器OS”(例如“ascend-cann:8.1.RC1-openEuler”)
--build-arg
指定dockerfile文件内的参数
{image_name}:{tag}
{image_name}:{tag}为安装前准备的OS基础容器镜像
父主题: 方式二:自行构建并部署容器镜像