使用msctl部署服务

工具使用

MindIE MS deployer提供命令行工具，可供用户使用，当前提供的对外命令为：

客户端部署命令

使用msctl在MindIE MS客户端发送部署请求命令，如下所示。

./bin/msctl create infer_server -f ./conf/infer_server.json

infer_server.json：4中用户配置的infer_server.json配置文件。

回显如下所示，则表示部署请求命令下发成功。

{
    "message": "Creating the server!",
    "status": "0"
}

执行以下Kubernetes查询指令，查询是否部署成功。

kubectl get pod -A

如下图所示，在Kubernetes的Pod资源用户自定义的{namespace}中，存在{server_name}-deployment-0-xxx且状态为Running时，则表示部署成功。

{server_name}和{namespace}为RESTful接口API中用户自行编写的json配置文件中的“server_name”和“namespace”参数值。

如果部署失败，请参见3.a中的volumes参数，根据挂载的物理日志路径中的日志文件定位具体问题。

客户端卸载命令

./bin/msctl delete infer_server -n {server_name}

回显如下所示，则表示卸载请求命令下发成功且服务删除成功。

{
    "message": "succeed to clear resources",
    "status": "0"
}

也可以使用Kubernetes命令查看该服务是否已删除或者处于非Running状态，如下图所示。

kubectl get pod -A

被删除的服务进入Terminating状态10秒后，再次查看部署服务状态，发现该服务已从列表中消失，即可开始部署新的分布式多机任务。

• 卸载服务任务需等待服务彻底被删除后再进行分布式多机服务的部署。
• 系统出现异常不能通过MindIE MS客户端命令进行时，请参见使用MindIE MS部署多机任务后系统出现异常，不能通过MindIE MS客户端卸载进行处理。

客户端查询命令

./bin/msctl get infer_server -n {server_name}

回显如下所示，则表示查询请求命令下发成功。

{
    "data": {
        "instances_status": [
            {
                "instance_id": 0,
                "liveness": true,
                "readiness": true,
                "restore_state": "none"
            }
        ],
        "model_info": {
            "docker_label": null,
            "max_batch_total_tokens": 8192,
            "max_best_of": 1,
            "max_concurrent_requests": 200,
            "max_input_length": 2048,
            "max_stop_sequences": null,
            "max_waiting_tokens": null,
            "models": [
                {
                    "max_total_tokens": 2560,
                    "model_device_type": "npu",
                    "model_dtype": "float16",
                    "model_id": "llama_65b",
                    "model_pipeline_tag": "text-generation",
                    "model_sha": null
                }
            ],
            "sha": null,
            "validation_workers": null,
            "version": "1.0.RC3",
            "waiting_served_ratio": null
        },
        "server_name": "mindie-server",
        "server_status_msg": "created: succeed to create the server, and succeed to save server status to file"
    },
    "message": "success",
    "status": "0"
}

重要参数解释：

• “liveness”：表示服务存活状态。
  • “true”：表示服务存活。
  • “false”：表示服务未存活。
• “readiness”：表示服务实例启动状态。
  • “true”：表示服务实例已启动完成并进入就绪状态。
  • “false”：表示服务实例未启动完成。
• “server_status_msg”：表示服务状态。
  • “creating”：表示服务正在创建中。
  • “created”：表示服务已创建完成。
  • “failed”：表示服务创建失败。
  • “stopping”：表示服务正在停止中。

后续用户使用MindIE Server推理能力输入EndPoint RESTful接口使用说明指令时，只需要将{port}设置为表2中service_port参数的值，{ip}设置为Kubernetes部署管理节点IP即可。