华为计算微信公众号
昇腾AI开发者公众号
华为计算微博
华为计算今日头条
2、如下图,推理小模型时,准备开启多实例来提高并发数,对外只需一个服务端口。是不是就是在这里配置?多个实例间是如何负载均衡的?
我要发帖子
2、如下图,推理小模型时,准备开启多实例来提高并发数,对外只需一个服务端口。是不是就是在这里配置?多个实例间是如何负载均衡的?