动态虚拟化

使用说明

使用前提

1. 需要先获取“Ascend-docker-runtime_{version}_linux-{arch}.run”，安装容器引擎插件。
2. 参见安装部署章节，完成各组件的安装。

   虚拟化实例涉及到需要修改相关参数的集群调度组件为Volcano和Ascend Device Plugin，请按如下要求修改并使用对应的yaml安装部署。

   1. Ascend Device Plugin参数修改及启动说明。

      虚拟化实例启动参数说明如下：

      表3 Ascend Device Plugin启动参数

      参数	类型	默认值	说明
      -volcanoType	bool	false	是否使用Volcano进行调度，如使用动态虚拟化，需要设置为true。
      -presetVirtualDevice	bool	true	静态虚拟化功能开关，目前支持Atlas 训练系列产品、和Atlas 推理系列产品，且值只能为true。 如使用动态虚拟化，需要设置为false。目前支持Atlas 推理系列产品的动态虚拟化，需要同步开启Volcano使用。

      yaml启动说明如下：

      K8s集群中存在使用Atlas 推理系列产品节点，需要在device-plugin-310P-volcano-v6.0.RC3中将“presetVirtualDevice”字段修改为“false”（协同Volcano使用，支持NPU虚拟化，yaml默认关闭动态虚拟化）。

      ...
      args: [ "device-plugin  -useAscendDocker=true -volcanoType=true -presetVirtualDevice=false
                 -logFile=/var/log/mindx-dl/devicePlugin/devicePlugin.log -logLevel=0" ]
      ...

   2. Volcano参数修改及启动说明。

      在Volcano部署文件“volcano-v{version}.yaml”中，需要配置“presetVirtualDevice”的值为“false”。

      ...
      data:
        volcano-scheduler.conf: |
          actions: "enqueue, allocate, backfill"
          tiers:
          - plugins:
            - name: priority
            - name: gang
            - name: conformance
            - name: volcano-npu-v6.0.RC3_linux-aarch64
          - plugins:
            - name: drf
            - name: predicates
            - name: proportion
            - name: nodeorder
            - name: binpack
          configurations:
           ...
            - name: init-params
              arguments: {"grace-over-time":"900","presetVirtualDevice":"false"}  # 开启动态虚拟化，presetVirtualDevice的值需要设置为false
      ...

使用方法

创建推理任务时，需要在创建yaml文件时，修改如下配置。以Atlas 推理系列产品使用为例。

resources中设定的requests和limits资源类型，申请一个AI Core，应修改为huawei.com/npu-core。以deployment部署方式为例：

apiVersion: apps/v1
kind: Deployment
metadata:
  name: deploy-with-volcano
  labels:
    app: tf
  namespace: vnpu
spec:
  replicas: 1
  selector:
    matchLabels:
      app: tf
  template:
    metadata:
      labels:
        app: tf
        ring-controller.atlas: ascend-310P  # 参见"虚拟化实例任务yaml中label说明"。
        fault-scheduling: "grace"           # 重调度所使用的label
        vnpu-dvpp: "yes"                    # 参见"虚拟化实例任务yaml中label说明"。
        vnpu-level: "low"                   # 参见"虚拟化实例任务yaml中label说明"。
    spec:
      schedulerName: volcano  # 需要使用MindCluster的调度器Volcano
      nodeSelector:
        host-arch: huawei-arm
      containers:
        - image: ubuntu:18.04   # 示例镜像
          imagePullPolicy: IfNotPresent
          name: tf
          command:
          - "/bin/bash"
          - "-c"
          args: [ "客户自己的运行脚本"  ]
          resources:
            requests:
              huawei.com/npu-core: 1        # 使用静态虚拟化的vir01模板动态虚拟化NPU
            limits:
              huawei.com/npu-core: 1        # 数值与requests一致。
 ....

表4 虚拟化实例任务yaml中label说明

key	value	说明
vnpu-level	low	低配，默认值，选择最低配置的“虚拟化实例模板”。
	high	性能优先。 在集群资源充足的情况下，将选择尽量高配的虚拟化实例模板；在整个集群资源已使用过多的情况下，如大部分物理NPU都已使用，每个物理NPU只剩下小部分AI Core，不足以满足高配虚拟化实例模板时，将使用相同AI Croe数量下较低配置的其他模板。具体选择请参考表5。
vnpu-dvpp	yes	该pod使用DVPP。
	no	该pod不使用DVPP。
	null	默认值。不关注是否使用DVPP。
ring-controller.atlas	ascend-310P	任务使用Atlas 推理系列产品的标识。

vnpu-level和vnpu-dvpp的选择结果，具体请参见表5。

• 表中“降级”表示AI Core满足的情况下，其他资源不够（如AI CPU）时，模板会选择同AI Core下的其他满足资源要求的模板。如在只剩一颗芯片上只有2个AI Core，1个AI CPU时，vir02模板会降级为vir02_1c。
• 表中“选择模板”中的值来源于虚拟化规则中Atlas 推理系列产品、的“虚拟化实例模板”取值。
• 表中“vnpu-level”列的“其他值”表示除去“low”和“high”后的任意取值。
• 整卡（core的请求数量为8的倍数）场景下vnpu-dvpp与vnpu-level可以取任意值。

表5 dvpp和level作用结果表

产品型号	AI Core请求数量	vnpu-dvpp	vnpu-level	是否降级	选择模板
Atlas 推理系列产品	1	null	任意值	-	vir01
	2	null	low/其他值	-	vir02_1c
		null	high	否	vir02
				是	vir02_1c
	4	yes	low/其他值	-	vir04_4c_dvpp
		no			vir04_3c_ndvpp
		null			vir04_3c
		yes	high	- -	vir04_4c_dvpp
		no			vir04_3c_ndvpp
		null		否	vir04
				是	vir04_3c
	8或8的倍数	任意值	任意值	-	-
Atlas 200T A2 Box16 异构子框	6	null	low/其他值	-	vir06_1c_16g
	12	null	low/其他值	-	vir12_3c_32g
	24或24的倍数	任意值	任意值	-	-
注： 如果Atlas 推理系列产品申请AI Core数量为8或8的倍数。

上表中对于芯片虚拟化（非整卡），vnpu-dvpp的值只能为表中对应的值，其他值会导致任务不能下发。