推理服务器(插Atlas 300I 推理卡

推理服务器(插Atlas 300I 推理卡)存在亲和性调度,如一台Atlas 800 推理服务器(型号 3000)最多支持插8张Atlas 300I 推理卡,每张Atlas 300I 推理卡存在4个昇腾AI处理器。使用推理服务器(插Atlas 300I 推理卡)的用户可以在下发任务yaml时,通过“npu-310-strategy”参数指定调度策略,只有指定按推理卡调度时,才可以实现亲和性调度。

npu-310-strategy参数取值说明如下: