csdn上的这个帖子,比较旧了,问题太多。
目前我的环境是Atlas800T A2、EulerOS 2.10 Arm 910B rc3 64bit for BareMetal With Uniagent
MindIE是用的docker镜像mindie_2.0.T3-800I-A2-py311-openeuler24.03-lts-aarch64.tar.gz
想起两个docker,一个用来跑DeepSeek-R1-Distill-Llama-70B,这个目前已经OK,8NPU卡全用
现在还想部署embedding和rerank模型,安照CSDN上帖子部署,问题很多,望提供帮助。
昇腾服务器(Atlas800系列)部署embedding和rerank模型
csdn上的这个帖子,比较旧了,问题太多。
目前我的环境是Atlas800T A2、EulerOS 2.10 Arm 910B rc3 64bit for BareMetal With Uniagent
MindIE是用的docker镜像mindie_2.0.T3-800I-A2-py311-openeuler24.03-lts-aarch64.tar.gz
想起两个docker,一个用来跑DeepSeek-R1-Distill-Llama-70B,这个目前已经OK,8NPU卡全用
现在还想部署embedding和rerank模型,安照CSDN上帖子部署,问题很多,望提供帮助。