使用Dockerfile构建断点续训容器镜像（MindSpore）

前提条件

请按照表1所示，获取对应操作系统的软件包与打包镜像所需Dockerfile文件与脚本文件，断点续训软件包名称中{version}表示版本号。

为了防止软件包在传递过程中或存储期间被恶意篡改，下载软件包时需下载对应的数字签名文件用于完整性验证。

在软件包下载之后，请参考《OpenPGP签名验证指南》，对从Support网站下载的软件包进行PGP数字签名校验。如果校验失败，请不要使用该软件包，先联系华为技术支持工程师解决。

使用软件包安装/升级之前，也需要按上述过程先验证软件包的数字签名，确保软件包未被篡改。

企业客户请访问：https://support.huawei.com/enterprise/zh/tool/pgp-verify-TL1000000054

操作步骤

1. 以root用户登录服务器。
2. 将准备的软件包“mindspore_ascend-{version}-cp3x-cp3x-linux_{arch}.whl”,“mindformers”源码和“mindx_elastic-{version}-py3x-none-linux_{arch}.whl”上传到服务器任意目录（如“/home/test”）。
3. 执行以下步骤准备Dockerfile文件。
   1. 进入软件包所在目录，执行以下命令创建Dockerfile文件（文件名示例“Dockerfile”）。

      vi Dockerfile

   2. 请参见Dockerfile编写示例，将内容写入Dockerfile文件后执行:wq命令保存内容。

4. 进入软件包所在目录，执行以下命令，构建容器镜像，注意不要遗漏命令结尾的“.”。

   docker build -t  [OPTIONS] 镜像名_系统架构:镜像tag .

   例如：

   docker build -t test_train_arm64:v1.0 .

   命令解释如表2所示。

   表2 命令参数说明

   参数	说明
   -t	指定镜像名称。
   OPTIONS	“--disable-content-trust”选项：忽略校验，默认开启。出于安全考虑，这里推荐设置关闭。
   镜像名_系统架构:镜像tag	镜像名称与标签，请用户根据实际情况写入。

   当出现“Successfully built xxx”表示镜像构建成功。

5. 构建完成后，执行以下命令查看镜像信息。

   docker images

   显示示例。

   REPOSITORY                TAG                 IMAGE ID            CREATED             SIZE
   test_train_arm64          v1.0                d82746acd7f0        27 minutes ago      749MB

编写示例

使用过程中请根据实际情况修改软件包版本及架构。

1. Dockerfile编写示例。
   • Ubuntu Arm系统Dockerfile示例。

     FROM xxx # 基础训练镜像 
     ARG MINDX_ELASTIC_PKG=mindx_elastic-{version}-py37-none-linux_aarch64.whl
     ARG MINDSPORE_PKG=mindspore_ascend-{version}-cp37-cp37m-linux_aarch64.whl
     ARG MINDFORMERS_PKG=mindformers-{version}-py3-none-any.whl
     
     WORKDIR /tmp 
     COPY . ./ 
      
     ENV http_proxy xxx
     ENV https_proxy xxx
     
     # 配置Python pip源 
     RUN mkdir -p ~/.pip \
     && echo '[global] \n\
     index-url=https://pypi.doubanio.com/simple/\n\
     trusted-host=pypi.doubanio.com' >> ~/.pip/pip.conf
      
     # 安装MindSpore
     RUN pip3.7 install $MINDSPORE_PKG
     
     # 安装MindFormers
     RUN pip install $MINDFORMERS_PKG
     
     # DL无损失断点续训适配脚本
     RUN pip3.7 install $MINDX_ELASTIC_PKG
      
     # 如果需要对安装文件的目录权限进行限制，可以在此处根据Python的安装路径进行更改。推荐的程序目录和文件权限为550，例如chmod 550 -R mindx_elastic安装路径
     
     ENV http_proxy "" 
     ENV https_proxy "" 
     
     RUN rm -f /tmp/$MINDX_ELASTIC_PKG

   • Ubuntu x86_64系统Dockerfile示例。

     FROM xxx # 基础训练镜像 
     ARG MINDX_ELASTIC_PKG=mindx_elastic-{version}-py37-none-linux_x86_64.whl
     ARG MINDSPORE_PKG=mindspore_ascend-{version}-cp37-cp37m-linux_x86_64.whl
     ARG MINDFORMERS_PKG=mindformers-{version}-py3-none-any.whl
     
     WORKDIR /tmp 
     COPY . ./ 
      
     ENV http_proxy xxx
     ENV https_proxy xxx
     
     # 配置 Python pip源 
     RUN mkdir -p ~/.pip \
     && echo '[global] \n\
     index-url=https://pypi.doubanio.com/simple/\n\
     trusted-host=pypi.doubanio.com' >> ~/.pip/pip.conf
     
     # 安装MindSpore
     RUN pip3.7 install $MINDSPORE_PKG
     
     # 安装MindFormers
     RUN pip install $MINDFORMERS_PKG
     
     # DL无损失断点续训适配脚本
     RUN pip3.7 install $MINDX_ELASTIC_PKG
     
     # 如果需要对安装文件的目录权限进行限制，可以在此处根据Python的安装路径进行更改。推荐的程序目录和文件权限为550，例如chmod 550 -R mindx_elastic安装路径
      
     ENV http_proxy "" 
     ENV https_proxy "" 
     
     RUN rm -f /tmp/$MINDX_ELASTIC_PKG

   为了使Dockerfile更加安全，用户可以根据业务在其中定义HEALTHCHECK检查。通过在容器内部运行HEALTHCHECK [OPTIONS] CMD命令来检查容器的运行状况。