使用前必读

前提条件

• 在命令行场景下使用动态vNPU调度特性，需要确保已经安装如下组件。
  • Volcano（动态vNPU调度特性只支持使用Volcano作为调度器，不支持使用其他调度器。）
  • Ascend Device Plugin
  • Ascend Docker Runtime
  • ClusterD
  • NodeD
• 若没有安装，可以参考安装部署章节进行操作。

使用方式

动态vNPU调度特性的使用方式如下：

• 通过命令行使用：安装集群调度组件，通过命令行使用动态vNPU调度特性。
• 集成后使用：将集群调度组件集成到已有的第三方AI平台或者基于集群调度组件开发的AI平台。

使用说明

• 资源监测可以和推理场景下的所有特性一起使用。
• 集群中同时运行多个推理任务，每个任务使用的特性可以不同，但不能同时存在使用静态vNPU的任务和使用动态vNPU的任务。
• 动态vNPU调度特性需要搭配算力虚拟化特性一起使用，关于动态虚拟化的相关说明和操作请参见动态虚拟化章节。
• 动态vNPU调度仅支持下发单副本数或者多副本数的单机任务，每个副本独立工作，不支持分布式任务。

支持的产品形态

Atlas 推理系列产品

使用流程

通过命令行使用动态vNPU调度特性流程可以参见图1。

算力动态虚拟化实例涉及到相关集群调度组件的参数配置，请参见动态虚拟化章节完成修改。