通过命令行使用（其他调度器）

操作步骤

1. 请从集群调度代码仓中下载YAML文件。

   表1 任务类型与硬件型号对应YAML文件

   任务类型	硬件型号	YAML文件名称	获取链接
   K8s或其他调度器场景下的Job任务	Atlas 200I SoC A1 核心板	infer-310p-1usoc.yaml	获取YAML
   	其他类型推理节点	infer.yaml

2. 将YAML文件上传至管理节点任意目录，并根据实际情况修改文件内容。

   表2 YAML文件参数说明

   参数	取值	说明
   image	-	推理镜像名称，请根据实际修改（用户在制作镜像章节制作的镜像名称）。
   replicas	整数	运行的任务副本数量。通常情况一般为1。
   requests	推理服务器（插Atlas 300I 推理卡）： huawei.com/Ascend310: 芯片数量 Atlas 推理系列产品非混插模式： huawei.com/Ascend310P: 芯片数量。 Atlas 推理系列产品混插模式环境： huawei.com/Ascend310P-V: 芯片数量。 huawei.com/Ascend310P-VPro: 芯片数量。 huawei.com/Ascend310P-IPro: 芯片数量。 Atlas 800I A2 推理服务器、A200I A2 Box 异构组件、Atlas 800I A3 超节点服务器：huawei.com/Ascend910：芯片数量 如：huawei.com/Ascend310: 1	请求的NPU类型、数量，请根据实际修改。requests和limits下，芯片的名字和数量需保持一致。
   limits
   （可选）host-arch	Arm环境：huawei-arm x86_64环境：huawei-x86	需要运行推理任务的节点架构，请根据实际修改。Atlas 200I SoC A1 核心板节点仅支持huawei-arm。
   servertype	soc	服务器类型。 调度到Atlas 200I SoC A1 核心板节点上，必须要加上此配置，并参考“infer-310p-1usoc.yaml”文件进行目录挂载。 其他类型节点不需要此参数。

3. 根据实际需求，选择YAML示例并进行如下修改。

   表3 操作示例

   特性名称	操作参考
   整卡调度	在Atlas推理系列产品节点（非Atlas 200I SoC A1 核心板）上创建单卡任务
   	在Atlas 200I SoC A1 核心板上创建单卡任务
   	在Atlas 800I A2 推理服务器上创建单卡任务
   静态vNPU	在Atlas 推理系列产品（非Atlas 200I SoC A1 核心板）上创建单卡任务

   • 以infer.yaml为例，在Atlas 推理系列产品节点（非Atlas 200I SoC A1 核心板节点）创建一个不使用混插模式的单卡推理任务，示例如下。

     apiVersion: batch/v1
     kind: Job
     metadata:
       name: resnetinfer1-1
     spec:
       template:
         spec:
           nodeSelector:
             host-arch: huawei-arm    # 可选值，根据实际情况填写
           affinity:        # 本段表示不调度到Atlas 200I SoC A1 核心板节点
             nodeAffinity:
               requiredDuringSchedulingIgnoredDuringExecution:
                 nodeSelectorTerms:
                   - matchExpressions:
                       - key: servertype
                         operator: NotIn
                         values:
                           - soc
           containers:
           - image: ubuntu-infer:v1
     ...
             resources:
               requests:
                 huawei.com/Ascend310P: 1
               limits:
                 huawei.com/Ascend310P: 1
     ...

   • 以infer-310p-1usoc.yaml为例，在Atlas 200I SoC A1 核心板节点（不支持混插模式）创建一个单卡推理任务，示例如下。

     apiVersion: batch/v1
     kind: Job
     metadata:
       name: resnetinfer1-1-1usoc
     spec:
       template:
         spec:
           nodeSelector:
             host-arch: huawei-arm     # 可选值，根据实际情况填写
             servertype: soc               # 该标签表示仅能调度到Atlas 200I SoC A1 核心板节点
           containers:
           - image: ubuntu-infer:v1
     ...
             resources:
               requests:
                 huawei.com/Ascend310P: 1
               limits:
                 huawei.com/Ascend310P: 1
     ...

     

     因为Atlas 200I SoC A1 核心板节点需要挂载的目录和文件与其他类型节点不一致，为了避免推理失败，如果需要使用Atlas 推理系列产品，且集群中有Atlas 200I SoC A1 核心板节点但是不希望调度到这类节点上，请在示例的YAML中增加“affinity”字段，表示不调度到有“servertype=soc”标签的节点上。

   • 使用整卡调度特性，参考本配置。以infer.yaml为例，在Atlas 800I A2 推理服务器上创建一个单卡推理任务，示例如下。

     apiVersion: batch/v1
     kind: Job
     metadata:
       name: resnetinfer1-1
     spec:
       template:
         spec:
           nodeSelector:
             host-arch: huawei-arm   # 可选值，根据实际情况填写
     ...
           containers:
           - image: ubuntu-infer:v1
     ...
             resources:
               requests:
                 huawei.com/Ascend910: 1
               limits:
                 huawei.com/Ascend910: 1
     ...

   • 以infer.yaml为例，在Atlas 推理系列产品节点（非Atlas 200I SoC A1 核心板节点）创建一个使用vNPU的推理任务，示例如下。

     apiVersion: batch/v1
     kind: Job
     metadata:
       name: resnetinfer1-1
     spec:
       template:
         spec:
           nodeSelector:
             host-arch: huawei-arm    # 可选值，根据实际情况填写
           containers:
           - image: ubuntu-infer:v1
     ...
             resources:
               requests:
                 huawei.com/Ascend310P-2c: 1
               limits:
                 huawei.com/Ascend310P-2c: 1
     ...