2.0.RC1 mindie 910b4 创建rerank 和embedding失败
收藏回复举报
2.0.RC1 mindie 910b4 创建rerank 和embedding失败
t('forum.solved') 已解决
新人帖
发表于2025-06-30 16:58:09
0 查看

Atlas 800I A2

cke_366.png

环境中创建rerank服务和embedding服务  

BAAI/bge-reranker-large rerank模型  

BAAI/bge-large-zh-v1.5 embedding模型

rerank服务找不到 [llm] [ERROR] [model_deploy_config.cpp:102] Failed to get vocab size from tokenizer wrapper with exception: NotImplementedErro                          r: unsupported model type: xlm-roberta;请确认atb_llm.models路径下是否存在名为xlm-roberta的文件夹

cke_1321.png

看了一下官网的手册 minie2.0 rc1  没支持嵌入模型  只有1.0支持

cke_14113.png

cke_24388.png

cke_25602.pngcke_26521.png

我要发帖子