昇腾服务器(Atlas800系列)部署embedding和rerank模型问题
收藏回复举报
昇腾服务器(Atlas800系列)部署embedding和rerank模型问题
t('forum.solved') 已解决
新人帖
发表于2025-02-19 21:27:23
0 查看

昇腾服务器(Atlas800系列)部署embedding和rerank模型

csdn上的这个帖子,比较旧了,问题太多。

目前我的环境是Atlas800T A2、EulerOS 2.10 Arm 910B rc3 64bit for BareMetal With Uniagent
MindIE是用的docker镜像mindie_2.0.T3-800I-A2-py311-openeuler24.03-lts-aarch64.tar.gz

想起两个docker,一个用来跑DeepSeek-R1-Distill-Llama-70B,这个目前已经OK,8NPU卡全用
现在还想部署embedding和rerank模型,安照CSDN上帖子部署,问题很多,望提供帮助。

我要发帖子