mindie如何起嵌入和rank模型
收藏回复举报
mindie如何起嵌入和rank模型
t('forum.solved') 已解决
发表于2025-01-20 17:23:45
0 查看

我这边是910b 8卡的服务器,

拉取的镜像版本是:1.0.T71-800I-A2-py311-ubuntu22.04-arm64

用mindie-server跑llm和多模态模型跑通了,

但是嵌入模型和rank模型应该怎么运行,

用mindie-server启则是报错:LLMInferEngine failed to init LLMInferModels(报错没有具体指向)

在案例中也没有看到嵌入模型的,官方文档上只能看到支持,没有运行方式,

求教下

我要发帖子