亲和性调度策略
推理服务器(插Atlas 300I Duo 推理卡)的特征和资源利用的规则如下表所示。
策略名称 |
策略描述 |
---|---|
按推理卡亲和性调度原则 |
优先选择同一张Atlas 300I Duo 推理卡的昇腾AI处理器。 申请昇腾AI处理器个数为1~2,则选择同一张Atlas 300I Duo 推理卡,且当前可用的Atlas 300I Duo 推理卡数量为1个的节点为最佳,其次是2个。 |
分布式推理按昇腾AI处理器调度 |
必须将任务调度到整张Atlas 300I Duo 推理卡上。若任务需要的昇腾AI处理器数量为单数时,使用单个昇腾AI处理器的部分,将优先调度到剩余昇腾AI处理器数量为1的Atlas 300I Duo 推理卡上。 |