昇腾社区首页
中文
注册

环境准备

本文档以Atlas 800I A2 推理服务器和OpenSora v1.2模型为例,让开发者快速开始使用MindIE SD进行文生视频。

前提条件

物理机部署场景,需要在物理机安装NPU驱动固件以及部署Docker,执行如下步骤判断是否已安装NPU驱动固件和部署Docker。

  • 执行以下命令查看NPU驱动固件是否安装。若出现类似如图1所示,说明已安装。否则请参见表1进行安装。
    npu-smi info
    图1 回显信息
    表1 Atlas 800I A2 推理产品

    产品型号

    参考文档

    Atlas 800I A2

    《Atlas A2 中心推理和训练硬件 24.1.0 NPU驱动和固件安装指南》中的“物理机安装与卸载”章节

  • 执行以下命令查看Docker是否已安装并启动。

    docker ps

    回显以下信息表示Docker已安装并启动。

    CONTAINER ID        IMAGE        COMMAND         CREATED        STATUS         PORTS           NAMES

获取模型权重

请先下载模型权重和配置文件,这里以OpenSora v1.2模型为例。

模型权重详细信息如表2所示,用户需自行设置权重路径(例:/home/{用户名}/example/OpenSora1.2)。
表2 模型权重

模型/子模型

说明

权重

OpenSora1.2

文生视频模型

无需权重文件。

scheduler

噪声采样器

无需权重文件。

text_encoder

应用T5Encoder模型,文本编码模型

请单击链接获取。

text_encoder和tokenizer文件夹所需要的文件如下所示:

  • text_encoder:pytorch_model-00001-of-00002.bin、pytorch_model-00002-of-00002.bin和pytorch_model.bin.index.json
  • tokenizer:special_tokens_map.json、spiece.model和tokenizer_config.json

tokenizer

transformer

应用STDiT3模型,时空去噪扩散转换模型

请单击链接获取。

vae

变分自编码器

请单击链接获取。

vae_2d

应用文本到文本传输转换扩散(Text-To-Text Transfer Transformer Diffusers,T5 Diffusers)模型

请单击链接获取。

MindIE SD接口会对传入的文件或文件夹做权限安全校验,因此模型权重文件、配置文件及其所在文件夹需进行权限配置,权限要求为:

  • 模型权重文件、配置文件:对应三组权限不得超过640且需要和执行用户的属组和权限保持一致。
  • 模型权重文件和配置文件所在的文件夹:对应三组权限不得超过750且需要和执行用户的所属组和权限保持一致。

获取容器镜像

进入昇腾官方镜像仓库,根据设备型号选择下载对应的MindIE镜像。

该镜像已具备模型运行所需的基础环境,包括:CANN、FrameworkPTAdapter、MindIEATB Models,可实现模型快速上手推理。

表3 容器内各组件安装路径

组件

安装路径

CANN

/usr/local/Ascend/ascend-toolkit

CANN-NNAL-ATB

/usr/local/Ascend/nnal/atb

MindIE

/usr/local/Ascend/mindie

ATB Models

/usr/local/Ascend/atb-models