800T A2使用mindieservice_daemon启动模型推理服务失败
收藏回复举报
800T A2使用mindieservice_daemon启动模型推理服务失败
t('forum.solved') 已解决
新人帖
发表于2024-10-14 10:57:57
0 查看
  1. /usr/local/Ascend/mindie/latest/mindie-service/conf/config.json:
     

        "OtherParam" : 

        { 

            "ResourceParam" : 

            { 

                "cacheBlockSize" : 128 

            }, 

            "LogParam" : 

            { 

                "logLevel" : "Info", 

                "logPath" : "logs/mindservice.log" 

            }, 

            "ServeParam" : 

            { 

                "ipAddress" : "127.0.0.1", 

                "managementIpAddress" : "127.0.0.2", 

                "port" : 1025, 

                "managementPort" : 1026, 

                "maxLinkNum" : 1000, 

                "httpsEnabled" : true, 

                "tlsCaPath" : "security/ca/", 

                "tlsCaFile" : ["ca.pem"], 

                "tlsCert" : "security/certs/server.pem", 

                "tlsPk" : "security/keys/server.key.pem", 

                "tlsPkPwd" : "security/pass/mindie_server_key_pwd.txt", 

                "tlsCrl" : "security/certs/server_crl.pem", 

                "managementTlsCaFile" : ["management_ca.pem"], 

                "managementTlsCert" : "security/certs/management_server.pem", 

                "managementTlsPk" : "security/keys/management_server.key.pem", 

                "managementTlsPkPwd" : "security/pass/management_mindie_server_key_pwd.txt", 

                "managementTlsCrl" : "security/certs/management_server_crl.pem", 

                "kmcKsfMaster" : "tools/pmt/master/ksfa", 

                "kmcKsfStandby" : "tools/pmt/standby/ksfb", 

                "multiNodesInferPort" : 1120, 

                "interNodeTLSEnabled" : true, 

                "interNodeTlsCaFile" : "security/ca/ca.pem", 

                "interNodeTlsCert" : "security/certs/server.pem", 

                "interNodeTlsPk" : "security/keys/server.key.pem", 

                "interNodeTlsPkPwd" : "security/pass/mindie_server_key_pwd.txt", 

                "interNodeKmcKsfMaster" : "tools/pmt/master/ksfa", 

                "interNodeKmcKsfStandby" : "tools/pmt/standby/ksfb" 

            } 

        }, 

        "WorkFlowParam" : 

        { 

            "TemplateParam" : 

            { 

                "templateType" : "Standard", 

                "templateName" : "Standard_llama" 

            } 

        }, 

        "ModelDeployParam" : 

        { 

            "engineName" : "mindieservice_llm_engine", 

            "modelInstanceNumber" : 1, 

            "tokenizerProcessNumber" : 8, 

            "maxSeqLen" : 4096, 

            "npuDeviceIds" : [[0,1,2,3]], 

            "multiNodesInferEnabled" : false, 

            "ModelParam" : [ 

                { 

                    "modelInstanceType" : "Standard", 

                    "modelName" : "llama_65b", 

                    "modelWeightPath" : "/usr/local/LLM_models/Qwen1___5-14B-Chat", 

                    "worldSize" : 4, 

                    "cpuMemSize" : 5, 

                    "npuMemSize" : 8, 

                    "backendType" : "atb", 

                    "pluginParams" : "" 

                } 

            ] 

        }, 

        "ScheduleParam" : 

        { 

            "maxPrefillBatchSize" : 50, 

            "maxPrefillTokens" : 8192, 

            "prefillTimeMsPerReq" : 150, 

            "prefillPolicyType" : 0, 

     

            "decodeTimeMsPerReq" : 50, 

            "decodePolicyType" : 0, 

     

            "maxBatchSize" : 200, 

            "maxIterTimes" : 512, 

            "maxPreemptCount" : 0, 

            "supportSelectBatch" : false, 

            "maxQueueDelayMicroseconds" : 5000 

        } 

  2. /usr/local/Ascend/mindie/latest/mindie-service路径下运行./bin/mindservice_daemon时报错:
    cke_38274.png

    检查config.json文件中"modelWeightPath"是没问题的。
  3. mindservice.log的报错信息为:
    cke_73941.png

我要发帖子