Mindformers模型部署到本地
收藏回复举报
Mindformers模型部署到本地
t('forum.solved') 已解决
新人帖
发表于2023-10-30 11:10:12
0 查看

看了一下MindformersMindspore Serving的文档,对于LLM的部署方案似乎都没有明确的示例demo,Mindspore Serving的文档针对resnet等简单的网络,API里支持mindIR格式,但是Mindformers中的模型都是ckpt,是否需要转换?

请问目前Mindformers中的开源LLM工程化的部署方案有推荐的(例如GPU上的vllm, triton inference server这种)么?
硬件环境:

  • CPU:Kunpeng920
  • NPU: Ascend 910

软件环境:

  • CANN6.3
  • Mindspore2.0
  • Mindformers2023Dev

模型名称

  • LLama2

我要发帖子