多模态理解特性介绍
多模态理解模型是指能够处理和理解包括多种模态数据的深度学习模型,多模态理解模型将文本、图像、音频或视频等至少两种模态的数据作为输入,从输入的多模态数据中提取特征并进行融合,从而使得多模态理解模型能够实现更全面、更准确的理解和推理能力。
目前仅支持输入为多模态数据,输出为文字数据的多模态理解模型。多模态生成类模型请参考《MindIE SD开发指南》。
父主题: 特性介绍
多模态理解模型是指能够处理和理解包括多种模态数据的深度学习模型,多模态理解模型将文本、图像、音频或视频等至少两种模态的数据作为输入,从输入的多模态数据中提取特征并进行融合,从而使得多模态理解模型能够实现更全面、更准确的理解和推理能力。
目前仅支持输入为多模态数据,输出为文字数据的多模态理解模型。多模态生成类模型请参考《MindIE SD开发指南》。