静态vNPU调度
功能特点
支持用户运行训练或者推理任务时,将训练或推理任务调度到节点的vNPU卡上,使用vNPU执行训练或者推理任务。静态vNPU调度特性借助Kubernetes(以下简称K8s)支持的基础调度功能,配合Volcano或者其他调度器,实现训练或者推理任务的vNPU卡的调度和其他资源的最佳分配。
使用须知
使用静态vNPU调度前,用户需要通过npu-smi工具提前创建多个vNPU(虚拟NPU),当用户需要使用vNPU资源时,需要将vNPU挂载到容器中使用。使用算力虚拟化需要了解昇腾AI处理器支持的芯片类型、切分规则和切分模板等,详细信息请参见虚拟化实例。
所需组件
- 训练任务
- 调度器(Volcano或其他调度器)
- Ascend Device Plugin
- Ascend Docker Runtime
- Ascend Operator
- ClusterD
- NodeD
- 推理任务
- 调度器(Volcano或其他调度器)
- Ascend Device Plugin
- Ascend Docker Runtime
- ClusterD
- NodeD
使用说明
- 安装组件请参考安装部署章节进行操作。
- 特性使用指导请参考整卡调度或静态vNPU调度(训练)章节进行操作。
父主题: 基础调度