指定推理任务芯片调度策略

在使用Volcano作为推理任务的调度器时,可以指定芯片的调度策略。此时,需要在任务yaml中指定调度器等参数。可参考表1获取对应调度类型的yaml,相关参数的说明如下。
表1 yaml文件参数说明

参数名

取值

说明

npu-310-strategy

  • card:按卡调度,request请求的芯片个数不超过4,请求的芯片数量会调度到同一张卡上。
  • chip:按芯片调度,请求的芯片个数不超过单个节点的最大值。

-

schedulerName

volcano

如果切换调度器,需要将之前调度的任务都释放。

“infer-deploy.yaml”为例,参数配置示例如下:

apiVersion: apps/v1
kind: Deployment
...
spec:
...
  template:
    metadata: 
      labels:
         app: infers
         npu-310-strategy: card
         ring-controller.atlas: ascend-310
    spec:
      schedulerName: volcano 
...