mindie 2.1RC1对300I DUO提到了双芯并行,以及多实例原理问题
收藏回复举报
mindie 2.1RC1对300I DUO提到了双芯并行,以及多实例原理问题
t('forum.solved') 已解决
新人帖
发表于2025-08-30 17:35:45
0 查看
1、模型支持列表 页面,这里提到300I DUO支持双芯并行,那么什么双芯并行?如何开启?最好能有相关材料。  

cke_3380.png

2、如下图,推理小模型时,准备开启多实例来提高并发数,对外只需一个服务端口。是不是就是在这里配置?多个实例间是如何负载均衡的?

cke_2232.png

我要发帖子