多模态理解模型列表

  • 以下模型需配合ATB Models模型库使用，ATB Models的安装方式请参见《MindIE安装指南》中“安装开发环境 > 安装ATB Models”章节；ATB Models的使用场景请参见《MindIE LLM开发指南》的“模型推理使用流程 > ATB Models使用”章节。
  • 当前版本多模态理解模型不支持量化。

模型名称

多卡能力

数据类型

服务化

模型权重链接

LLava-1.6-mistral-7B

（该模型预计下个版本将日落）
  • Atlas 800I A2 推理产品（64G）：支持的卡数为1、2、4或8。
  • Atlas 300I Duo 推理卡：支持的卡数为1、2或4。
  • FP16：支持
  • BF16：仅Atlas 800I A2 推理产品支持

MindIE Service：支持

链接

LLava-1.6-vicuna-7B

（该模型预计下个版本将日落）
  • Atlas 800I A2 推理产品（64G）：支持的卡数为1、2、4或8。
  • Atlas 300I Duo 推理卡：支持的卡数为1、2或4。
  • FP16：支持
  • BF16：仅Atlas 800I A2 推理产品支持

MindIE Service：支持

链接

LLava-1.6-vicuna-13B

（该模型预计下个版本将日落）
  • Atlas 800I A2 推理产品（64G）：支持的卡数为1、2、4或8。
  • Atlas 300I Duo 推理卡：支持的卡数为1、2或4。
  • FP16：支持
  • BF16：仅Atlas 800I A2 推理产品支持

MindIE Service：支持

链接

LLava-v1.6-34b-hf

（该模型预计下个版本将日落）
  • Atlas 800I A2 推理产品（64G）：支持的卡数为4或8。
  • Atlas 300I Duo 推理卡：支持的卡数为1、2或4。
  • FP16：支持
  • BF16：仅Atlas 800I A2 推理产品支持

MindIE Service：支持

链接

LLava-next-video-34b

（该模型预计下个版本将日落）
  • Atlas 800I A2 推理产品（64G）：支持的卡数为4或8。
  • Atlas 300I Duo 推理卡：支持的卡数为1、2或4。
  • FP16：支持
  • BF16：仅Atlas 800I A2 推理产品支持

MindIE Service：支持

链接

LLava-next-video-7b

（该模型预计下个版本将日落）
  • Atlas 800I A2 推理产品（64G）：支持的卡数为1、2、4或8。
  • Atlas 300I Duo 推理卡：支持的卡数为1、2或4。
  • FP16：支持
  • BF16：仅Atlas 800I A2 推理产品支持

MindIE Service：支持

链接

LLava-v1.5-13B

（该模型预计下个版本将日落）
  • Atlas 800I A2 推理产品（64G）：支持的卡数为1、2、4或8。
  • Atlas 300I Duo 推理卡：支持的卡数为1、2或4。
  • FP16：支持
  • BF16：仅Atlas 800I A2 推理产品支持

MindIE Service：支持

链接

LLava-v1.5-7B

（该模型预计下个版本将日落）
  • Atlas 800I A2 推理产品（64G）：支持的卡数为1、2、4或8。
  • Atlas 300I Duo 推理卡：支持的卡数为1、2或4。
  • FP16：支持
  • BF16：仅Atlas 800I A2 推理产品支持

MindIE Service：支持

链接

Qwen-VL-9.6B
  • Atlas 800I A2 推理产品（32G）：支持的卡数为1、2、4或8。
  • Atlas 300I Duo 推理卡：支持的卡数为1、2或4。
  • FP16：支持
  • BF16：仅Atlas 800I A2 推理产品（32G）支持

MindIE Service：支持

链接

Qwen2-Audio-7B-Instruct
  • Atlas 800I A2 推理产品：支持的卡数为1、2、4或8。
  • Atlas 300I Duo 推理卡：不支持。
  • FP16：仅Atlas 800I A2 推理产品支持
  • BF16：仅Atlas 800I A2 推理产品支持

MindIE Service：支持

链接

Qwen2-VL-7B
  • Atlas 800I A2 推理产品：支持的卡数为1、2、4或8。
  • Atlas 300I Duo 推理卡：不支持。
  • FP16：仅Atlas 800I A2 推理产品支持
  • BF16：仅Atlas 800I A2 推理产品支持

MindIE Service：支持

链接

InternVL-Chat-V1-2

（该模型预计下个版本将日落）
  • Atlas 800I A2 推理产品：支持的卡数为4或8。
  • Atlas 300I Duo 推理卡：支持的卡数为2或4。
  • FP16：支持
  • BF16：仅Atlas 800I A2 推理产品支持

MindIE Service：支持

链接

InternVL-Chat-V1-5

（该模型预计下个版本将日落）
  • Atlas 800I A2 推理产品（64G）：支持的卡数为4或8。
  • Atlas 300I Duo 推理卡：支持的卡数为2或4。
  • FP16：支持
  • BF16：不支持

MindIE Service：支持

链接

InternVL2-8B
  • Atlas 800I A2 推理产品：支持的卡数为1、2、4或8。
  • Atlas 300I Duo 推理卡：不支持。
  • FP16：仅Atlas 800I A2 推理产品支持
  • BF16：不支持

MindIE Service：支持

链接

InternVL2-40B
  • Atlas 800I A2 推理产品：支持的卡数为2、4或8。
  • Atlas 300I Duo 推理卡：不支持。
  • FP16：仅Atlas 800I A2 推理产品支持
  • BF16：仅Atlas 800I A2 推理产品（64G）支持

MindIE Service：支持

链接

MiniCPM-Llama3-V-2_5

（该模型预计下个版本将日落）
  • Atlas 800I A2 推理产品：不支持。
  • Atlas 300I Duo 推理卡：支持的卡数为1。
  • FP16：支持
  • BF16：不支持

不支持

链接

MiniCPM-V-2

（该模型预计下个版本将日落）
  • Atlas 800I A2 推理产品：不支持。
  • Atlas 300I Duo 推理卡：支持的卡数为1。
  • FP16：支持
  • BF16：不支持

不支持

链接

InternLM-xcomposer2-vl-7B

（该模型预计下个版本将日落）
  • Atlas 800I A2 推理产品（64G）：支持的卡数为1。
  • Atlas 300I Duo 推理卡：支持的卡数为1。
  • FP16：支持
  • BF16：不支持

不支持

链接

InternLM-XComposer2-4KHD-7B

（该模型预计下个版本将日落）
  • Atlas 800I A2 推理产品（64G）：支持的卡数为1。
  • Atlas 300I Duo 推理卡：支持的卡数为1。
  • FP16：支持
  • BF16：不支持

不支持

链接
父主题： 支持的模型列表