镜像：swr.cn-central-221.ovaijisuan.com/dxy/mindie:1.0.RC1-800I-A2-aarch64

报错：：Qwe72B       RuntimeError: [json.exception.type_error.302] type must be number, but is null

chatglm3    No local weights found in /root/chatglm3-6b-base with extension .safetensors

配置：    

{ 

    "OtherParam": 

    { 

        "ResourceParam" : 

        { 

            "cacheBlockSize" : 128, 

            "preAllocBlocks" : 4 

        }, 

        "LogParam" : 

        { 

            "logLevel" : "Info", 

            "logPath" : "/logs/mindservice.log" 

        }, 

        "ServeParam" : 

        { 

            "ipAddress" : "0.0.0.0", 

            "port" : 1025, 

            "maxLinkNum" : 300, 

            "httpsEnabled" : false, 

            "tlsCaPath" : "security/ca/", 

            "tlsCaFile" : ["ca.pem"], 

            "tlsCert" : "security/certs/server.pem", 

            "tlsPk" : "security/keys/server.key.pem", 

            "tlsPkPwd" : "security/pass/mindie_server_key_pwd.txt", 

            "kmcKsfMaster" : "tools/pmt/master/ksfa", 

            "kmcKsfStandby" : "tools/pmt/standby/ksfb", 

            "tlsCrl" : "security/certs/server_crl.pem" 

        } 

    }, 

    "WorkFlowParam": 

    { 

        "TemplateParam" : 

        { 

            "templateType": "Standard", 

            "templateName" : "Standard_llama", 

            "pipelineNumber" : 1 

        } 

    }, 

    "ModelDeployParam": 

    { 

        "engineName" : "mindieservice_llm_engine", 

        "modelInstanceNumber" : 1, 

        "maxSeqLen" : 2560, 

        "npuDeviceIds" : [[0,1,2,3,4,5,6,7]], 

        "ModelParam" : [ 

            { 

                "modelInstanceType": "Standard", 

                "modelName" : "chatglm3-6b-base", 

                "modelWeightPath" : "/root/chatglm3-6b-base", 

                "worldSize" : 8, 

                "cpuMemSize" : 5, 

                "npuMemSize" : 20, 

                "backendType": "atb" 

            } 

        ] 

    }, 

    "ScheduleParam": 

    { 

        "maxPrefillBatchSize" : 50, 

        "maxPrefillTokens" : 8192, 

        "prefillTimeMsPerReq" : 150, 

        "prefillPolicyType" : 0, 

        "decodeTimeMsPerReq" : 50, 

        "decodePolicyType" : 0, 

        "maxBatchSize" : 200, 

        "maxIterTimes" : 512, 

        "maxPreemptCount" : 200, 

        "supportSelectBatch" : false, 

        "maxQueueDelayMicroseconds" : 5000 

    } 

}