指定推理任务芯片调度策略
在使用Volcano作为推理任务的调度器时,可以指定芯片的调度策略。此时,需要在任务yaml中指定调度器等参数。可参考表1获取对应调度类型的yaml,相关参数的说明如下。
参数名 |
取值 |
说明 |
|---|---|---|
npu-310-strategy |
|
- |
schedulerName |
volcano |
如果切换调度器,需要将之前调度的任务都释放。 |
以“infer-deploy.yaml”为例,参数配置示例如下:
apiVersion: apps/v1
kind: Deployment
...
spec:
...
template:
metadata:
labels:
app: infers
npu-310-strategy: card
spec:
schedulerName: volcano
...
父主题: 高级特性