推理产品

当前只有推理服务器（插Atlas 300I 推理卡）存在亲和性调度，其他推理产品不支持亲和性调度。如一个Atlas 800 推理服务器最多支持插8张Atlas 300I 推理卡，每张Atlas 300I 推理卡存在4个昇腾AI处理器。使用推理服务器（插Atlas 300I 推理卡）的用户可以在下发任务yaml时，通过npu-310-strategy参数指定调度策略，只有指定按推理卡调度时，才可以实现亲和性调度。

npu-310-strategy参数取值说明如下：

• card：按推理卡调度，request请求的昇腾AI处理器个数不超过4，使用同一张Atlas 300I 推理卡上的昇腾AI处理器。
• chip：按昇腾AI处理器调度，请求的昇腾AI处理器个数不超过单个节点的最大值。