利用官网提供的MINDIE版本(1.0.RC2-800I-A2-aarch64)镜像部署模型(qwen1.5-72b)的推理服务，发现回答时候无法确定结束的位置，在回答完正确问题后，又自己回答了其他不相干的问题。

postman测试图如下：

本人新手小白一枚，请问是需要增加什么参数控制一下么？有遇到的帮忙回复一下，谢谢了

minie-service 配置信息如下（config.json）：

 

{ 

    "OtherParam" : 

    { 

        "ResourceParam" : 

        { 

            "cacheBlockSize" : 128 

        }, 

        "LogParam" : 

        { 

            "logLevel" : "Info", 

            "logPath" : "logs/mindservice.log" 

        }, 

        "ServeParam" : 

        { 

            "ipAddress" : "xxx.xxx.xxx.xx", 

            "managementIpAddress" : "xxx.xxx.xxx.xx", 

            "port" : 1025, 

            "managementPort" : 1026, 

            "maxLinkNum" : 300, 

            "httpsEnabled" : false, 

            "tlsCaPath" : "security/ca/", 

            "tlsCaFile" : ["ca.pem"], 

            "tlsCert" : "security/certs/server.pem", 

            "tlsPk" : "security/keys/server.key.pem", 

            "tlsPkPwd" : "security/pass/mindie_server_key_pwd.txt", 

            "tlsCrl" : "security/certs/server_crl.pem", 

            "managementTlsCaFile" : ["management_ca.pem"], 

            "managementTlsCert" : "security/certs/management_server.pem", 

            "managementTlsPk" : "security/keys/management_server.key.pem", 

            "managementTlsPkPwd" : "security/pass/management_mindie_server_key_pwd.txt", 

            "managementTlsCrl" : "security/certs/management_server_crl.pem", 

            "kmcKsfMaster" : "tools/pmt/master/ksfa", 

            "kmcKsfStandby" : "tools/pmt/standby/ksfb", 

            "multiNodesInferPort" : 1120, 

            "interNodeTLSEnabled" : false, 

            "interNodeTlsCaFile" : "security/ca/ca.pem", 

            "interNodeTlsCert" : "security/certs/server.pem", 

            "interNodeTlsPk" : "security/keys/server.key.pem", 

            "interNodeTlsPkPwd" : "security/pass/mindie_server_key_pwd.txt", 

            "interNodeKmcKsfMaster" : "tools/pmt/master/ksfa", 

            "interNodeKmcKsfStandby" : "tools/pmt/standby/ksfb" 

        } 

    }, 

    "WorkFlowParam" : 

    { 

        "TemplateParam" : 

        { 

            "templateType" : "Standard", 

            "templateName" : "Standard_qwen" 

        } 

    }, 

    "ModelDeployParam" : 

    { 

        "engineName" : "mindieservice_llm_engine", 

        "modelInstanceNumber" : 1, 

        "tokenizerProcessNumber" : 8, 

        "maxSeqLen" : 32760, 

        "npuDeviceIds" : [[0,1,2,3,4,5,6,7]], 

        "multiNodesInferEnabled" : false, 

        "ModelParam" : [ 

            { 

                "modelInstanceType" : "Standard", 

                "modelName" : "Qwen_72b", 

                "modelWeightPath" : "/home/llm/Qwen1.5-72B", 

                "worldSize" : 8, 

                "cpuMemSize" : 8, 

                "npuMemSize" : 32, 

                "backendType" : "atb", 

                "pluginParams" : "" 

            } 

        ] 

    }, 

    "ScheduleParam" : 

    { 

        "maxPrefillBatchSize" : 50, 

        "maxPrefillTokens" : 32768, 

        "prefillTimeMsPerReq" : 150, 

        "prefillPolicyType" : 0, 

 

        "decodeTimeMsPerReq" : 50, 

        "decodePolicyType" : 0, 

 

        "maxBatchSize" : 200, 

        "maxIterTimes" : 512, 

        "maxPreemptCount" : 0, 

        "supportSelectBatch" : false, 

        "maxQueueDelayMicroseconds" : 5000 

    } 

} 

服务器配置信息如下
操作系统：

CPU:

NPU: