LAVIS是一个多模态模型套件,包含CLIP、ALBEF、BLIP、BLIP2、InstructBLIP等多种多模态模型,以及Image-text Retrieval、Image Captioning等下游任务的训练与推理。可用于图文问答、图文检索、图像分类等任务。本案例主要介绍如何将LAVIS仓中的BLIP2模型迁移到昇腾芯片(NPU)上。