使用kubectl部署单机PD分离服务示例

kubectl create namespace mindie

PD场景下需配置“deploy_mode”参数为单机PD分离部署模式，如下所示：

deploy_mode="pd_disaggregation_single_container"

• modelName：模型名配置，关联模型权重文件的模型，如配置为llama3-8b。
• modelWeightPath：模型权重文件目录配置，modelWeightPath需配置为mindie_service_single_container.yaml文件中指定挂载在容器中的权重路径（默认为/mnt/mindie-service/ms/model），确保集群可调度Ascend计算节点在该路径下存在模型文件。
• worldSize：配置一个P/D实例占用的NPU卡数；例如配置为“2”，表示使用两张卡。
• npuDeviceIds：卡号配置成从0开始编号，总数与worldSize一致，如配置为[[0,1]]。
• inferMode：配置为dmi。

在单机PD分离部署场景下，多个Server进程将运行于同一Pod中，每个Server进程需对应独立的配置文件。为简化配置流程，可使用mindie_service_single_container.yaml文件中的MINDIE_MS_GEN_SERVER_PORT环境变量进行管理。该环境变量支持两种配置模式：

• true（默认值）：系统将根据用户配置的config.json文件，自动生成多个配置文件（config1.json、config2.json、...、config{server_num}.json）。每个配置文件对应一个Server进程，系统将为配置文件中的端口参数：port、managementPort、metricsPort和interCommPort分配互不冲突的端口号，确保各进程独立运行。
• false：用户需提供与Server数量匹配的配置文件（config1.json、config2.json、...、config{server_num}.json）。在该模式下，用户可自由配置各端口参数。系统具备端口冲突检测机制，若配置文件中存在端口冲突，系统将自动分配其他可用端口号，确保程序正常启动。

“tls_enable”参数为控制是否使用HTTPS的开关，若集群内MindIE组件使用了HTTPS接口，需设置“tls_enable”为“true”，并导入证书到容器内，配置相应的证书路径。如使用HTTP接口，则设置“tls_enable”为“false”，无需准备证书文件。

建议用户打开tls_enable，确保通信安全；如果关闭则存在较高的网络安全风险。

在部署脚本目录中的deployment目录下找到mindie_service_single_container.yaml文件。

• 本脚本仅作为一个部署参考，Pod容器的安全性由用户自行保证，实际生产环境请针对镜像和Pod安全进行加固。
• 用户在使用kubetl部署Deployment时，可修改deployment的配置yaml文件，请避免使用危险配置，确保使用安全镜像（非root权限用户），配置安全的Pod上下文。
• 用户应挂载安全路径（非软链接，非系统危险路径，非业务敏感路径），并设置合理的文件目录权限，避免挂载/home等公共目录，防止被非法用户篡改，导致容器逃逸问题。

• mindie_service_single_container.yaml主要配置的字段如下所示：
  • huawei.com/Ascend910：配置所有P/D实例占用的NPU卡数总和，与MindIE Server的所有config配置文件中worldSize参数配置的卡数总和保持一致。
  • image：配置镜像名。
    • MindIE与ATB Models配套使用场景：镜像名请参见MindIE与ATB Models配套使用场景。
    • MindIE与MindSpore配套使用场景：镜像名请参见MindIE与MindSpore配套使用场景。
  • startupProbe: 启动探针，每180秒检测一次启动状态，如果启动探针连续失败的次数达到30次则认为未启动成功，Pod将会自动重启。请用户根据实际场景设置合理的启动时间。
  • readinessProbe: 就绪探针，每180秒检测一次就绪状态。如果探针失败，Pod将停止接收流量，直到再次通过检查。请用户根据实际场景设置合理的触发时间。
  • livenessProbe: 存活探针，每180秒检测一次存活状态。用于探测容器的健康，如果任意进程无应答则执行重启等操作。请用户根据实际场景设置合理的触发时间。
  • MINDIE_MS_GEN_SERVER_PORT：判定MindIE Server的多份配置文件是否由程序根据基本config.json文件自动生成。
  • MINDIE_MS_P_RATE：PD分离部署模式下，P所占的比例。
    • 0：表示自动决策最佳比例，MINDIE_MS_D_RATE需要同时为0；
    • 非0：表示指定P的比例，MINDIE_MS_D_RATE需要同时非0，且MINDIE_MS_P_RATE和MINDIE_MS_D_RATE的和小于等于单机NPU卡数。

    优先级高于ms_controller.json配置文件中default_p_rate。

  • MINDIE_MS_D_RATE：PD分离部署模式下，D所占的比例。
    • 0：表示自动决策最佳比例，MINDIE_MS_P_RATE需要同时为0；
    • 非0：表示指定P的比例，MINDIE_MS_P_RATE需要同时非0，且MINDIE_MS_P_RATE和MINDIE_MS_D_RATE的和小于等于单机NPU卡数。

    该环境变量的优先级高于ms_controller.json配置文件中default_d_rate。

  • 宿主机模型权重挂载路径需要根据实际情况配置，示例如下

    - name: model-path
      hostPath:
        path: /data/LLaMA3-8B

配置容器内mindie安装的目录：根据制作镜像时实际的安装路径，修改MINDIE_USER_HOME_PATH的value值，如安装路径是/xxx/Ascend/mindie，则配置为/xxx 。

export MINDIE_USER_HOME_PATH={镜像的安装路径}

使用以下命令拉起集群。

bash deploy.sh

kubectl get pods -n mindie

回显示例如下：

1
2

NAME                                     READY   STATUS    RESTARTS   AGE    IP               NODE       NOMINATED NODE   READINESS GATES
mindie-server-7b795f8df9-vl9hv           1/1     Running   0          145m   xx.xx.xx.xx   ubuntu     <none>           <none>

• MindIE MS的Controller，Coordinator及MindIE Server组件均启动在以mindie-server开头的Pod中。

如观察Pod进入Running状态，表示Pod容器已成功被调度到节点并正常启动，但还需要进一步确认业务程序是否启动成功。

• 通过脚本示例提供的log.sh脚本可查询这些Pod的标准输出日志，查看程序是否出现异常：

  bash log.sh

• 如需要查询具体Pod（如上面mindie-server-7b795f8df9-vl9hv）的日志，则执行以下命令：

  kubectl logs mindie-server-7b795f8df9-vl9hv -n mindie

• 获取的Pod日志将输出生成global_ranktable.json文件，其样例如下所示，样例中参数解释如表2所示。

  {
    "version": "1.0",
    "server_group_list": [
      {
        "group_id": "2",
        "server_count": "4",
        "server_list": [
          {
            "server_id": "127.0.0.1",
            "server_ip": "127.0.0.1",
            "predict_port": "xxxx",
            "mgmt_port": "xxxx",
            "metric_port": "xxxx",
            "inter_comm_port": "xxxx",
            "device": [
              {
                 "device_id": "0",
                 "device_ip": "1.1.1.1",
                 "rank_id": "0",
                 "device_logical_id": "0"
               },
              {
                 "device_id": "1",
                 "device_ip": "1.1.1.2",
                 "rank_id": "1",
                 "device_logical_id": "1"
               }
            ]
          },
          {
            "server_id": "127.0.0.1",
            "server_ip": "127.0.0.1",
            "predict_port": "xxxx",
            "mgmt_port": "xxxx",
            "metric_port": "xxxx",
            "inter_comm_port": "xxxx",
            "device": [
              {
                 "device_id": "2",
                 "device_ip": "1.1.1.3",
                 "rank_id": "2",
                 "device_logical_id": "2"
               },
              {
                 "device_id": "3",
                 "device_ip": "1.1.1.4",
                 "rank_id": "3",
                 "device_logical_id": "3"
               }
            ]
          },
          {
            "server_id": "127.0.0.1",
            "server_ip": "127.0.0.1",
            "predict_port": "xxxx",
            "mgmt_port": "xxxx",
            "metric_port": "xxxx",
            "inter_comm_port": "xxxx",
            "device": [
              {
                 "device_id": "4",
                 "device_ip": "1.1.1.5",
                 "rank_id": "4",
                 "device_logical_id": "4"
               },
              {
                 "device_id": "5",
                 "device_ip": "1.1.1.6",
                 "rank_id": "5",
                 "device_logical_id": "5"
               }
            ]
          },
          {
            "server_id": "127.0.0.1",
            "server_ip": "127.0.0.1",
            "predict_port": "xxxx",
            "mgmt_port": "xxxx",
            "metric_port": "xxxx",
            "inter_comm_port": "xxxx",
            "device": [
              {
                 "device_id": "6",
                 "device_ip": "1.1.1.7",
                 "rank_id": "6",
                 "device_logical_id": "6"
               },
              {
                 "device_id": "7",
                 "device_ip": "1.1.1.8",
                 "rank_id": "7",
                 "device_logical_id": "7"
               }
            ]
          }
        ]
      },
      {
        "group_id": "1",
        "server_count": "1",
        "server_list": [
          {
            "server_ip": "127.0.0.1"
          }
        ]
      },
      {
        "group_id": "0",
        "server_count": "1",
        "server_list": [
          {
            "server_ip": "127.0.0.1"
          },
        ]
      }
    ],
    "status": "completed"
  }
  

  表2 global_ranktable.json文件参数解释

  参数	类型	描述
  version	string	Ascend Operator的版本号。
  status	string	集群信息表的状态。 completed：部署完成。 initializing：初始化中。
  group_id	string	各组件的ID。 0：存储Coordinator的部署信息。 1：存储Controller的部署信息。 2：存储Server的部署信息。
  server_count	string	各组件的进程总数。
  server_list	json对象数组	各组件的进程部署信息。 Controller实例：列表有效长度为[0, 1]。 Coordinator实例：列表有效长度为[0, 1]。 Server实例：列表有效长度为[0, npu_num]（npu_num为npu个数）。
  server_id	string	组件节点的主机IP。
  server_ip	string	组件节点的IP地址。
  predict_port	string	EndPoint提供的业务面RESTful接口绑定的端口号。
  mgmt_port	string	EndPoint提供的管理面（管理面接口请参见表1）接口绑定的端口号。
  metric_port	string	服务监控指标接口（普罗格式）端口号。
  inter_comm_port	string	集群内部实例间的通信端口。
  device	json对象数组	NPU设备信息，仅MindIE Server有此属性。列表有效长度[1, 128]。
  device_id	string	NPU的设备ID。
  device_ip	string	NPU的IP地址。
  rank_id	string	NPU的逻辑ID，即Server所在Pod内可见的卡设备的序列ID。
  device_logical_id	string	NPU的逻辑ID，即Server所在Pod内可见的卡设备的序列ID。

• 如需要进入容器查找更多定位信息，则执行以下命令：

  kubectl exec -it mindie-server-7b795f8df9-vl9hv -n mindie -- bash