准备任务yaml

操作步骤

1. 获取相应的yaml文件。

   表1 yaml说明

   任务类型	硬件型号	yaml名称	获取链接
   Deployment	Atlas 推理系列产品	infer-deploy-dynamic.yaml	获取yaml
   Volcano Job		infer-vcjob-dynamic.yaml	获取yaml

2. 将yaml文件上传至管理节点任意目录，并根据实际情况修改文件内容。

   在Atlas 推理系列产品产品上，以“infer-deploy-dynamic.yaml”为例，申请1个AI Core的参数配置示例如下。

   apiVersion: apps/v1
   kind: Deployment
   metadata:
     name: resnetinfer1-1-deploy
     labels:
       app: infers
   spec:
     replicas: 1
     selector:
       matchLabels:
         app: infers
     template:
       metadata:
         labels:
           app: infers
           fault-scheduling: "grace"           # 重调度所使用的label
            # 以下参数说明，请参见表2
            ring-controller.atlas: ascend-310P  
           vnpu-dvpp: "null"           
           vnpu-level: "low"                 
       spec:
         schedulerName: volcano              # 需要使用MindX DL的调度器Volcano
         nodeSelector:
           host-arch: huawei-arm
         containers:
           - image: ubuntu-infer:v1   # 示例镜像
   ...
             
             resources:
               requests:
                 huawei.com/npu-core: 1        # 使用静态虚拟化的vir01模板动态虚拟化NPU
               limits:
                 huawei.com/npu-core: 1        # 数值与requests保持一致
    ....

   表2 infer-deploy-dynamic.yaml参数说明

   参数	取值	说明
   vnpu-level	low	低配，默认值，选择最低配置的虚拟化实例模板。
   	high	性能优先。 在集群资源充足的情况下，将选择尽量高配的虚拟化实例模板；在整个集群资源已使用过多的情况下，如大部分物理NPU都已使用，每个物理NPU只剩下小部分AI Core，不足以满足高配虚拟化实例模板时，将使用相同AI Core数量下较低配置的其他模板。具体选择请参考虚拟化模板章节。
   vnpu-dvpp	yes	该Pod使用DVPP。
   	no	该Pod不使用DVPP。
   	null	默认值，不关注是否使用DVPP。
   ring-controller.atlas	ascend-310P	任务使用Atlas 推理系列产品的标识。

   vnpu-level和vnpu-dvpp作用后，选择的vNPU模版可参考表3。

   表3 dvpp和level作用结果

   AI Core请求数量	vnpu-dvpp	vnpu-level	是否降级	选择模板
   1	null	任意值	-	vir01
   2	null	low/其他值	-	vir02_1c
   	null	high	否	vir02
   			是	vir02_1c
   4	yes	low/其他值	-	vir04_4c_dvpp
   	no			vir04_3c_ndvpp
   	null			vir04_3c
   	yes	high	- -	vir04_4c_dvpp
   	no			vir04_3c_ndvpp
   	null		否	vir04
   			是	vir04_3c
   8或8的倍数	任意值	任意值	-	-

   

   AI Core的申请数量为8或8的倍数，表示使用整张NPU卡。

3. 修改所选yaml中的容器启动命令，如下加粗部分，如果没有则添加“command”字段。

   ...
         containers:
         - image: ubuntu-infer:v1
   ...
    command: ["/bin/bash", "-c", "test_model.sh"]
           resources:
             requests:
   ...