昇腾社区首页
中文
注册
开发者
下载
支持

多模态理解模型列表

  • 以下模型需配合ATB Models模型库使用，ATB Models的安装方式请参见《MindIE安装指南》中“安装开发环境 > 安装ATB Models”章节；ATB Models的使用场景请参见《MindIE LLM开发指南》的“模型推理使用流程 > ATB Models使用”章节。
  • 当前版本多模态理解模型不支持量化。

模型名称

多卡能力

数据类型

服务化

模型权重链接

LLava-1.6-mistral-7B
  • Atlas 800I A2 推理产品（64G）：支持的卡数为1、2、4或8。
  • Atlas 300I Duo 推理卡：支持的卡数为1、2或4。
  • FP16：支持
  • BF16：仅Atlas 800I A2 推理产品（64G）支持

MindIE Service：支持

链接

LLava-1.6-vicuna-7B
  • Atlas 800I A2 推理产品（64G）：支持的卡数为1、2、4或8。
  • Atlas 300I Duo 推理卡：支持的卡数为1、2或4。
  • FP16：支持
  • BF16：仅Atlas 800I A2 推理产品（64G）支持

MindIE Service：支持

链接

LLava-1.6-vicuna-13B
  • Atlas 800I A2 推理产品（64G）：支持的卡数为1、2、4或8。
  • Atlas 300I Duo 推理卡：支持的卡数为1、2或4。
  • FP16：支持
  • BF16：仅Atlas 800I A2 推理产品（64G）支持

MindIE Service：支持

链接

llava-v1.6-34b-hf
  • Atlas 800I A2 推理产品（64G）：支持的卡数为1、2、4或8。
  • Atlas 300I Duo 推理卡：支持的卡数为1、2或4。
  • FP16：支持
  • BF16：仅Atlas 800I A2 推理产品（64G）支持

MindIE Service：支持

链接

llava-next-video-34b
  • Atlas 800I A2 推理产品（64G）：支持的卡数为4或8。
  • Atlas 300I Duo 推理卡：支持的卡数为1、2或4。
  • FP16：支持
  • BF16：仅Atlas 800I A2 推理产品（64G）支持

MindIE Service：支持

链接

llava-next-video-7b
  • Atlas 800I A2 推理产品（64G）：支持的卡数为1、2、4或8。
  • Atlas 300I Duo 推理卡：支持的卡数为1、2或4。
  • FP16：支持
  • BF16：仅Atlas 800I A2 推理产品（64G）支持

MindIE Service：支持

链接

llava-v1.5-13B
  • Atlas 800I A2 推理产品（64G）：支持的卡数为1、2、4或8。
  • Atlas 300I Duo 推理卡：支持的卡数为1、2或4。
  • FP16：支持
  • BF16：仅Atlas 800I A2 推理产品（64G）支持

MindIE Service：支持

链接

llava-v1.5-7B
  • Atlas 800I A2 推理产品（64G）：支持的卡数为1、2、4或8。
  • Atlas 300I Duo 推理卡：支持的卡数为1、2或4。
  • FP16：支持
  • BF16：仅Atlas 800I A2 推理产品（64G）支持

MindIE Service：支持

链接

Qwen-VL-9.6B
  • Atlas 800I A2 推理产品（32G）：支持的卡数为1、2、4或8。
  • Atlas 300I Duo 推理卡：支持的卡数为1、2或4。
  • FP16：支持
  • BF16：仅Atlas 800I A2 推理产品（32G）支持

MindIE Service：支持

链接

internVL-Chat-V1-2
  • Atlas 800I A2 推理产品：支持的卡数为4或8。
  • Atlas 300I Duo 推理卡：支持的卡数为2或4。
  • FP16：支持
  • BF16：不支持

MindIE Service：支持

链接

internVL-Chat-V1-5
  • Atlas 800I A2 推理产品：支持的卡数为4、8。
  • Atlas 300I Duo 推理卡：支持的卡数为2、4。
  • FP16：支持
  • BF16：不支持

MindIE Service：支持

链接

MiniCPM-Llama3-V-2_5
  • Atlas 800I A2 推理产品：不支持。
  • Atlas 300I Duo 推理卡：支持的卡数为1。
  • FP16：支持
  • BF16：不支持

不支持

链接

MiniCPM-V-2
  • Atlas 800I A2 推理产品：不支持。
  • Atlas 300I Duo 推理卡：支持的卡数为1。
  • FP16：支持
  • BF16：不支持

不支持

链接

internlm-xcomposer2-vl-7B
  • Atlas 800I A2 推理产品（64G）：支持的卡数为1。
  • Atlas 300I Duo 推理卡：支持的卡数为1。
  • FP16：支持
  • BF16：不支持

不支持

链接

internLM-XComposer2-4KHD-7B
  • Atlas 800I A2 推理产品（64G）：支持的卡数为1。
  • Atlas 300I Duo 推理卡：支持的卡数为1。
  • FP16：支持
  • BF16：不支持

不支持

链接