使用TEI镜像跑bge-reranker-v2-m3,日志提示Available device not found
收藏回复举报
使用TEI镜像跑bge-reranker-v2-m3,日志提示Available device not found
t('forum.solved') 已解决
新人帖
发表于2025-06-10 14:05:45
0 查看

一、错误截图

执行命令:

docker run -itd -e ENABLE_BOOST=True -u root -e ASCEND_VISIBLE_DEVICES=0 --name=tei --net=host \
-v /data/models:/home/HwHiAiUser/model \
swr.cn-south-1.myhuaweicloud.com/ascendhub/mis-tei:7.0.RC1-300I-Duo-aarch64  BAAI/bge-reranker-v2-m3 0.0.0.0 30200

true

二、按照官方解决方法排查没问题

true

执行命令:

docker run -e ASCEND_VISIBLE_DEVICES=0 -it --rm --name=tei --net=host \
-v /data/models:/home/HwHiAiUser/model \
-u root \
--entrypoint bash \
swr.cn-south-1.myhuaweicloud.com/ascendhub/mis-tei:7.0.RC1-300I-Duo-aarch64

执行完之后,在容器里面执行npu-smi info有返回

true

我要发帖子