华为计算微信公众号
昇腾AI开发者公众号
华为计算微博
华为计算今日头条
我这边是910b 8卡的服务器,
拉取的镜像版本是:1.0.T71-800I-A2-py311-ubuntu22.04-arm64
用mindie-server跑llm和多模态模型跑通了,
但是嵌入模型和rank模型应该怎么运行,
用mindie-server启则是报错:LLMInferEngine failed to init LLMInferModels(报错没有具体指向)
在案例中也没有看到嵌入模型的,官方文档上只能看到支持,没有运行方式,
求教下
我要发帖子
我这边是910b 8卡的服务器,
拉取的镜像版本是:1.0.T71-800I-A2-py311-ubuntu22.04-arm64
用mindie-server跑llm和多模态模型跑通了,
但是嵌入模型和rank模型应该怎么运行,
用mindie-server启则是报错:LLMInferEngine failed to init LLMInferModels(报错没有具体指向)
在案例中也没有看到嵌入模型的,官方文档上只能看到支持,没有运行方式,
求教下