启动日志：

显存使用情况

配置文件：

{ 

    "Version": "1.0.0", 

    "LogConfig": { 

        "logLevel": "Info", 

        "logFileSize": 20, 

        "logFileNum": 20, 

        "logPath": "logs/mindservice.log" 

    }, 

    "ServerConfig": { 

        "ipAddress": "127.0.0.1", 

        "managementIpAddress": "127.0.0.2", 

        "port": 18080, 

        "managementPort": 1026, 

        "metricsPort": 1027, 

        "allowAllZeroIpListening": false, 

        "maxLinkNum": 1000, 

        "httpsEnabled": false, 

        "fullTextEnabled": false, 

        "tlsCaPath": "security/ca/", 

        "tlsCaFile": [ 

            "ca.pem" 

        ], 

        "tlsCert": "security/certs/server.pem", 

        "tlsPk": "security/keys/server.key.pem", 

        "tlsPkPwd": "security/pass/key_pwd.txt", 

        "tlsCrl": "security/certs/server_crl.pem", 

        "managementTlsCaFile": [ 

            "management_ca.pem" 

        ], 

        "managementTlsCert": "security/certs/management/server.pem", 

        "managementTlsPk": "security/keys/management/server.key.pem", 

        "managementTlsPkPwd": "security/pass/management/key_pwd.txt", 

        "managementTlsCrl": "security/certs/management/server_crl.pem", 

        "kmcKsfMaster": "tools/pmt/master/ksfa", 

        "kmcKsfStandby": "tools/pmt/standby/ksfb", 

        "inferMode": "standard", 

        "interCommTLSEnabled": true, 

        "interCommPort": 1121, 

        "interCommTlsCaFile": "security/grpc/ca/ca.pem", 

        "interCommTlsCert": "security/grpc/certs/server.pem", 

        "interCommPk": "security/grpc/keys/server.key.pem", 

        "interCommPkPwd": "security/grpc/pass/key_pwd.txt", 

        "interCommTlsCrl": "security/grpc/certs/server_crl.pem", 

        "openAiSupport": "vllm" 

    }, 

    "BackendConfig": { 

        "backendName": "mindieservice_llm_engine", 

        "modelInstanceNumber": 1, 

        "npuDeviceIds" : [[0,1,2,3,4,5,6,7]], 

        "tokenizerProcessNumber": 8, 

        "multiNodesInferEnabled": false, 

        "multiNodesInferPort": 1120, 

        "interNodeTLSEnabled": true, 

        "interNodeTlsCaFile": "security/grpc/ca/ca.pem", 

        "interNodeTlsCert": "security/grpc/certs/server.pem", 

        "interNodeTlsPk": "security/grpc/keys/server.key.pem", 

        "interNodeTlsPkPwd": "security/grpc/pass/mindie_server_key_pwd.txt", 

        "interNodeTlsCrl": "security/grpc/certs/server_crl.pem", 

        "interNodeKmcKsfMaster": "tools/pmt/master/ksfa", 

        "interNodeKmcKsfStandby": "tools/pmt/standby/ksfb", 

        "ModelDeployConfig": { 

            "maxSeqLen": 2560, 

            "maxInputTokenLen": 2048, 

            "truncation": false, 

            "ModelConfig": [ 

                { 

                    "modelInstanceType": "Standard", 

                    "modelName": "qwen1.5-32b-chat", 

                    "modelWeightPath": "/apps/models/Qwen1.5-32b-chat", 

                    "worldSize": 8, 

                    "cpuMemSize": 5, 

                    "npuMemSize": 1, 

                    "backendType": "atb" 

                } 

            ] 

        }, 

        "ScheduleConfig": { 

            "templateType": "Standard", 

            "templateName": "Standard_LLM", 

            "cacheBlockSize": 128, 

            "maxPrefillBatchSize": 50, 

            "maxPrefillTokens": 8192, 

            "prefillTimeMsPerReq": 150, 

            "prefillPolicyType": 0, 

            "decodeTimeMsPerReq": 50, 

            "decodePolicyType": 0, 

            "maxBatchSize": 200, 

            "maxIterTimes": 512, 

            "maxPreemptCount": 0, 

            "supportSelectBatch": false, 

            "maxQueueDelayMicroseconds": 5000 

        } 

    } 

}