指定推理任务芯片调度策略
在使用Volcano作为推理任务的调度器时,可以指定芯片的调度策略。此时,需要在任务yaml中指定调度器等参数。可参考表1获取对应调度类型的yaml,相关参数的说明如下。
参数名 |
取值 |
说明 |
---|---|---|
npu-310-strategy |
|
- |
schedulerName |
volcano |
如果切换调度器,需要将之前调度的任务都释放。 |
以“infer-deploy.yaml”为例,参数配置示例如下:
apiVersion: apps/v1 kind: Deployment ... spec: ... template: metadata: labels: app: infers npu-310-strategy: card spec: schedulerName: volcano ...
父主题: 高级特性