看了一下Mindformers和Mindspore Serving的文档,对于LLM的部署方案似乎都没有明确的示例demo,Mindspore Serving的文档针对resnet等简单的网络,API里支持mindIR格式,但是Mindformers中的模型都是ckpt,是否需要转换?
请问目前Mindformers中的开源LLM工程化的部署方案有推荐的(例如GPU上的vllm, triton inference server这种)么?
硬件环境:
- CPU:Kunpeng920
- NPU: Ascend 910
软件环境:
- CANN6.3
- Mindspore2.0
- Mindformers2023Dev
模型名称
看了一下
Mindformers和Mindspore Serving的文档,对于LLM的部署方案似乎都没有明确的示例demo,Mindspore Serving的文档针对resnet等简单的网络,API里支持mindIR格式,但是Mindformers中的模型都是ckpt,是否需要转换?请问目前Mindformers中的开源LLM工程化的部署方案有推荐的(例如GPU上的vllm, triton inference server这种)么?
硬件环境:
软件环境:
模型名称