制作MindSpore框架镜像

前提条件

请按照表1所示,获取对应操作系统的软件包,并准备镜像所需的Dockerfile文件与脚本文件。

断点续训会使用到基础训练镜像,该镜像的制作可参考使用Dockerfile构建容器镜像(MindSpore)章节进行操作。

MindSpore软件包与Atlas 训练系列产品软件配套需满足对应关系,请参见MindSpore安装指南查看对应关系。

表1 所需软件

软件包

是否必选

说明

获取方法

mindspore-{version}-cp3x-cp3x-linux_{arch}.whl

若用户在基础训练镜像中已经包含该软件,可不再安装该软件。

  • MindSpore框架whl包,可选AArch64x86_64。需保证MindSpore版本高于1.5.0,软件包名中x代表Python版本,请根据实际情况选择对应软件包。
  • 当前可支持Python 3.9~3.11,软件包名中x表示9、10或11,请根据实际情况选择对应软件包。
说明:

MindSpore 2.0.0版本后的软件包名由mindspore-ascend修改为mindspore。

获取链接

mindx_elastic-{version}-py3-none-linux_{arch}.whl

使用优雅容错模式时,必须安装该whl包。

集群调度组件断点续训whl包,arch为CPU架构,可选AArch64x86_64

获取链接

说明:

用户通过获取链接得到的是Elastic Agent压缩包,需要通过解压后,获得相应的whl软件包。

mindformers-{version}-py3-none-any.whl

训练模型为pangu的时,必须安装该软件。

MindSpore Transformers套件,构建大模型训练、微调、评估、推理、部署的全流程开发套件。MindSpore的master版本请使用r0.3分支代码版本。

获取链接

说明:

参考README中的“mindformers安装”章节,根据实际情况安装mindformers。

mindio_ttp-{version}-cp3x-cp3x-linux_{arch}.whl

集群调度组件断点续训whl包,arch为CPU架构,可选AArch64x86_64

当前可支持Python 3.7、Python 3.8、Python 3.9和Python 3.10、Python 3.11,软件包名中x表示7、8、9和10、11,请根据实际情况选择对应软件包。

获取链接

说明:

用户通过获取链接得到的是MindIO压缩包,需要通过解压后,再根据实际的Python版本,获得相应的whl软件包。

Dockerfile

制作镜像需要。

参见编写示例

为了防止软件包在传递过程中或存储期间被恶意篡改,下载软件包时需下载对应的数字签名文件用于完整性验证。

在软件包下载之后,请参考《OpenPGP签名验证指南》,对从Support网站下载的软件包进行PGP数字签名校验。如果校验失败,请不要使用该软件包,先联系华为技术支持工程师解决。

使用软件包安装/升级之前,也需要按上述过程先验证软件包的数字签名,确保软件包未被篡改。

运营商客户请访问:https://support.huawei.com/carrier/digitalSignatureAction

企业客户请访问:https://support.huawei.com/enterprise/zh/tool/pgp-verify-TL1000000054

软件包名称中{version}表示版本号,{arch}表示CPU架构。

操作步骤

以Ubuntu操作系统为例。

  1. root用户登录服务器。
  2. 将准备的软件包mindspore-{version}-cp3x-cp3x-linux_{arch}.whl、mindformers源码和mindx_elastic-{version}-py3-none-linux_{arch}.whl上传到服务器任意目录(如“/home/test”)。
  3. 执行以下步骤准备Dockerfile文件。

    1. 进入软件包所在目录,执行以下命令创建Dockerfile文件(文件名示例“Dockerfile”)。
      vi Dockerfile
    2. 请参见Dockerfile编写示例,将内容写入Dockerfile文件后执行:wq命令保存内容。

  4. 进入软件包所在目录,执行以下命令,构建容器镜像,注意不要遗漏命令结尾的“.”

    docker build -t  [OPTIONS] 镜像名_系统架构:镜像tag .
    例如:
    docker build -t test_train_arm64:v1.0 .

    命令解释如表2所示。

    表2 命令参数说明

    参数

    说明

    -t

    指定镜像名称。

    OPTIONS

    “--disable-content-trust”选项:忽略校验,默认开启。出于安全考虑,这里推荐设置关闭。

    镜像名_系统架构:镜像tag

    镜像名称与标签,请用户根据实际情况写入。

    当出现“Successfully built xxx”表示镜像构建成功。

  5. 构建完成后,执行以下命令查看镜像信息。

    docker images

    显示示例。

    REPOSITORY                TAG                 IMAGE ID            CREATED             SIZE
    test_train_arm64          v1.0                d82746acd7f0        27 minutes ago      749MB

编写示例

使用过程中请根据实际情况修改软件包版本及架构。

  1. Dockerfile编写示例。
    • Ubuntu Arm系统Dockerfile示例。
      FROM 基础训练镜像
      ARG MINDX_ELASTIC_PKG=mindx_elastic-{version}-py3-none-linux_aarch64.whl
      ARG MINDSPORE_PKG=mindspore-{version}-cp3x-cp3x-linux_aarch64.whl
      ARG MINDFORMERS_PKG=mindformers-{version}-py3-none-any.whl
      
      WORKDIR /tmp 
      COPY . ./ 
       
      ENV http_proxy xxx
      ENV https_proxy xxx
      
       
      # 安装MindSpore
      RUN pip3 install $MINDSPORE_PKG
      
      # 安装MindFormers
      RUN pip install $MINDFORMERS_PKG
      
      # MindCluster无损失断点续训适配脚本
      RUN pip3 install $MINDX_ELASTIC_PKG
      
      # 增加安装任务调度依赖库
      RUN pip install apscheduler
      RUN pip install pyOpenSSL
       
      # 如果需要对安装文件的目录权限进行限制,可以在此处根据Python的安装路径进行更改。推荐的程序目录和文件权限为550,例如chmod 550 -R mElastic Agent安装路径
      
      ENV http_proxy "" 
      ENV https_proxy "" 
      
      RUN rm -f /tmp/$MINDX_ELASTIC_PKG
    • Ubuntu x86_64系统Dockerfile示例。
      FROM 基础训练镜像 
      ARG MINDX_ELASTIC_PKG=mindx_elastic-{version}-py3-none-linux_x86_64.whl
      ARG MINDSPORE_PKG=mindspore-{version}-cp3x-cp3x-linux_x86_64.whl
      ARG MINDFORMERS_PKG=mindformers-{version}-py3-none-any.whl
      
      WORKDIR /tmp 
      COPY . ./ 
       
      ENV http_proxy xxx
      ENV https_proxy xxx
      
      # 安装MindSpore
      RUN pip3 install $MINDSPORE_PKG
      
      # 安装MindFormers
      RUN pip install $MINDFORMERS_PKG
      
      # MindCluster无损失断点续训适配脚本
      RUN pip3 install $MINDX_ELASTIC_PKG
      
      # 增加安装任务调度依赖库
      RUN pip install apscheduler
      RUN pip install pyOpenSSL
      
      # 如果需要对安装文件的目录权限进行限制,可以在此处根据Python的安装路径进行更改。推荐的程序目录和文件权限为550,例如chmod 550 -R Elastic Agent安装路径
       
      ENV http_proxy "" 
      ENV https_proxy "" 
      
      RUN rm -f /tmp/$MINDX_ELASTIC_PKG

    为了使Dockerfile更加安全,用户可以根据业务在其中定义HEALTHCHECK检查。通过在容器内部运行HEALTHCHECK [OPTIONS] CMD命令来检查容器的运行状况。