求助:关于大模型对外提供推理接口服务的问题
收藏回复举报
求助:关于大模型对外提供推理接口服务的问题
t('forum.solved') 已解决
发表于2023-12-21 17:16:54
0 查看

【行业】:金融

【服务器型号】:Atlas 800-9000

【版本信息】:

--CANN版本:CANN 7.0.rc1

--mindspore版本:2.2

--Python版本:Python3.9

--操作系统版本:ky10.aarch64

【问题描述】:

帮忙解答如下问题:

①glm,glm2,llama这几个模型已经在mindspore上线成功了吗?
②可以对外提供推理接口服务了吗?
③如果可以的话,有没有相关的接口文档?

【Offering】:推理开发

我要发帖子