嵌入模型支持列表

  • 嵌入模型的具体使用方法请参见《MindIE开源第三方服务化框架适配开发指南》的“TEI > 使用差异 > 模型准备 > 选择MindIE Torch作为模型后端”章节
  • 由于MindIE服务化框架将于下个版本(版本号:2.0.RC1)起停止对开源第三方服务化框架的默认对接支持,所以嵌入模型将于下个版本(版本号:2.0.RC1)同步下架。

模型名称

多卡能力

数据类型

服务化

长序列

模型权重链接

bge-large-zh-v1.5

  • Atlas 800I A2 推理产品(32G):支持的卡数为1。
  • Atlas 300I Duo 推理卡:支持的卡数为1。
  • FP16:支持
  • BF16:不支持

不支持

不支持

链接

bge-reranker-large

  • Atlas 800I A2 推理产品(32G):支持的卡数为1。
  • Atlas 300I Duo 推理卡:支持的卡数为1。
  • FP16:支持
  • BF16:不支持

不支持

不支持

链接

bge-m3

  • Atlas 800I A2 推理产品(32G):支持的卡数为1。
  • Atlas 300I Duo 推理卡:支持的卡数为1。
  • FP16:支持
  • BF16:不支持

不支持

不支持

链接