如何在在装载了华为昇腾910b的鲲鹏服务器上部署基于transformer库的已经微调好了的BERT模型
收藏回复举报
如何在在装载了华为昇腾910b的鲲鹏服务器上部署基于transformer库的已经微调好了的BERT模型
t('forum.solved') 已解决
新人帖
发表于2024-03-19 10:44:57
0 查看

RT,基于transformer库,我已经微调好了一个BERT模型,准备用于分类任务,但是由于公司要求,我需要将其部署在装载了华为昇腾910b的鲲鹏服务器上,我之前一直使用的是英伟达的显卡,没有任何使用昇腾显卡的经验,我的模型已经在英伟达的显卡上验证了没有问题,现在我要如何部署在昇腾910b的显卡上?

我看了初级教学视频,但是讲解并不够详细,我无从下手
另外一点是,我们公司的服务器上已经部署了讯飞,金蝶,以及清华的ChatGLM6b等大模型,服务器已经具有基础的环境,python版本是2.7.5,Ascend的版本是23.0.rc3

如果可能,请详细提供以下内容并包含代码演示
1.部署BERT推理模型需要什么样子的环境?

2.如何检验环境是否符合标准?

3.如果需要的环境和当前的环境冲突如何处理?

4.如何部署BERT模型?

5.是否需要对模型进行编译或者对脚本进行改造?如何进行?

6.有无注意事项?

7.我使用模型进行推理使用的是pip()函数,部署完后我如何进行推理?

8我使用flask库创建了接口供调用,接口是否需要更改?

我要发帖子