前提条件
在命令行场景下使用动态vNPU调度特性,需要确保已经安装如下组件;若没有安装,可以参考
安装部署章节进行操作。动态vNPU调度特性只支持使用
Volcano作为调度器,不支持使用其他调度器。
- Volcano
- Ascend Device Plugin
- Ascend Docker Runtime
- ClusterD
- NodeD
使用方式
动态vNPU调度特性的使用方式如下:
- 通过命令行使用:安装集群调度组件,通过命令行使用动态vNPU调度特性。
- 集成后使用:将集群调度组件集成到已有的第三方AI平台或者基于集群调度组件开发的AI平台。
使用说明
- 资源监测可以和推理场景下的所有特性一起使用。
- 集群中同时运行多个推理任务,每个任务使用的特性可以不同,但不能同时存在使用静态vNPU的任务和使用动态vNPU的任务。
- 动态vNPU调度特性需要搭配算力虚拟化特性一起使用,关于动态虚拟化的相关说明和操作请参见动态虚拟化章节。
- 动态vNPU调度仅支持下发单副本数或者多副本数的单机任务,每个副本独立工作,不支持分布式任务。
使用流程
通过命令行使用动态vNPU调度特性流程可以参见图1。
图1 使用流程
算力动态虚拟化实例涉及到相关集群调度组件的参数配置,请参见动态虚拟化章节完成修改。