多模态理解特性使用流程

多模态理解模型包括多模态的Encoder模型和底座大语言模型。请先确认所需模型的组成部分,然后对照以下步骤确定适配策略。

  1. 当多模态理解模型已经整体适配MindIE时,可以直接拉起模型进行推理。请参见模型支持列表中的“多模态理解模型列表”,确认所需的多模态理解模型是否已适配。
  2. 当多模态理解模型仅有底座大语言模型适配MindIE时,可以通过适配多模态Encoder模型,完成所需多模态理解模型的整体适配,具体步骤请参考多模态理解模型迁移适配。所需底座大语言模型是否已经适配MindIE,请参见模型支持列表中的“大语言模型列表”。
  3. 当多模态理解模型的底座大语言模型不适配MindIE时,目前暂不支持这类型的多模态理解模型。