昇腾社区首页
中文
注册

静态vNPU调度

功能特点

支持用户运行训练或者推理任务时,将训练或推理任务调度到节点的vNPU卡上,使用vNPU执行训练或者推理任务。静态vNPU调度特性借助Kubernetes(以下简称K8s)支持的基础调度功能,配合Volcano或者其他调度器,实现训练或者推理任务的vNPU卡的调度和其他资源的最佳分配。

使用须知

使用静态vNPU调度前,用户需要通过npu-smi工具提前创建多个vNPU(虚拟NPU),当用户需要使用vNPU资源时,需要将vNPU挂载到容器中使用。使用算力虚拟化需要了解昇腾AI处理器支持的芯片类型、切分规则和切分模板等,详细信息请参见虚拟化实例

所需组件

  • 训练任务
    • 调度器(Volcano或其他调度器)
    • Ascend Device Plugin
    • Ascend Docker Runtime
    • Ascend Operator
    • ClusterD
    • NodeD
  • 推理任务
    • 调度器(Volcano或其他调度器)
    • Ascend Device Plugin
    • Ascend Docker Runtime
    • ClusterD
    • NodeD

使用说明

  1. 安装组件请参考安装部署章节进行操作。
  2. 特性使用指导请参考整卡调度或静态vNPU调度(训练)章节进行操作。