华为计算微信公众号
昇腾AI开发者公众号
华为计算微博
华为计算今日头条
【背景】
Mindformers Chat_Web 文档表示不支持并发
https://mindformers.readthedocs.io/zh-cn/latest/docs/feature_cards/Chat_Web.html
【问题】
1. Mindformers推理服务,现在有没有【并发推理】的解决方案?
2. 如果Mindformers推理服务支持并发,是否支持continuous batching或者动态batching?
我要发帖子
【背景】
Mindformers Chat_Web 文档表示不支持并发
https://mindformers.readthedocs.io/zh-cn/latest/docs/feature_cards/Chat_Web.html
【问题】
1. Mindformers推理服务,现在有没有【并发推理】的解决方案?
2. 如果Mindformers推理服务支持并发,是否支持continuous batching或者动态batching?