静态vNPU调度

功能特点

支持用户运行训练或者推理任务时,将训练或推理任务调度到节点的vNPU卡上,使用vNPU执行训练或者推理任务。静态vNPU调度特性借助Kubernetes(以下简称K8s)支持的基础调度功能,配合Volcano或者其他调度器,实现训练或者推理任务的vNPU卡的调度和其他资源的最佳分配。

使用须知

使用静态vNPU调度前,用户需要通过npu-smi工具提前创建多个vNPU(虚拟NPU),当用户需要使用vNPU资源时,需要将vNPU挂载到容器中使用。使用算力虚拟化需要了解昇腾AI处理器支持的芯片类型、切分规则和切分模板等,详细信息请参见虚拟化实例

所需组件

训练任务及推理任务下需要安装以下组件
  • 调度器(Volcano或其他调度器)
  • Ascend Device Plugin
  • Ascend Docker Runtime
  • Ascend Operator
  • ClusterD
  • NodeD

使用说明

  1. 安装组件请参考安装部署章节进行操作。
  2. 特性使用指导请参考整卡调度或静态vNPU调度(训练)章节进行操作。