环境准备
本文档以Atlas 800I A2 推理服务器和OpenSora v1.2模型为例,让开发者快速开始使用MindIE SD进行文生视频。
前提条件
物理机部署场景,需要在物理机安装NPU驱动固件以及部署Docker,执行如下步骤判断是否已安装NPU驱动固件和部署Docker。
获取模型权重
请先下载模型权重和配置文件,这里以OpenSora v1.2模型为例。
模型权重详细信息如表2所示,用户需自行设置权重路径(例:/home/{用户名}/example/OpenSora1.2)。
模型/子模型 |
说明 |
权重 |
---|---|---|
OpenSora1.2 |
文生视频模型 |
无需权重文件。 |
scheduler |
噪声采样器 |
无需权重文件。 |
text_encoder |
应用T5Encoder模型,文本编码模型 |
text_encoder和tokenizer文件夹所需要的文件如下所示:
|
tokenizer |
||
transformer |
应用STDiT3模型,时空去噪扩散转换模型 |
|
vae |
变分自编码器 |
|
vae_2d |
应用文本到文本传输转换扩散(Text-To-Text Transfer Transformer Diffusers,T5 Diffusers)模型 |
MindIE SD接口会对传入的文件或文件夹做权限安全校验,因此模型权重文件、配置文件及其所在文件夹需进行权限配置,权限要求为:
- 模型权重文件、配置文件:对应三组权限不得超过640且需要和执行用户的属组和权限保持一致。
- 模型权重文件和配置文件所在的文件夹:对应三组权限不得超过750且需要和执行用户的所属组和权限保持一致。
父主题: MindIE视图生成推理快速入门