部署QwQ-32B模型服务化后,回答问题经常性容易卡死,请问怎么解决?
收藏回复举报
部署QwQ-32B模型服务化后,回答问题经常性容易卡死,请问怎么解决?
t('forum.solved') 已解决
发表于2025-03-20 14:05:21
0 查看

QwQ-32B输出不完整:

cke_8254.png

对比:deepseek-32B输出这么多tokens也不会卡死:

cke_162.png

config.json配置:

            "maxSeqLen" : 24576, 

            "maxInputTokenLen" : 16384, 

            "truncation" : false, 

            "ModelConfig" : [ 

                { 

                    "modelInstanceType" : "Standard", 

                    "modelName" : "qwen", 

                    "modelWeightPath" : "/ai/QwQ-32B-w8a8", 

                    "worldSize" : 2, 

                    "cpuMemSize" : 5, 

                    "npuMemSize" : -1, 

                    "backendType" : "atb", 

                    "trustRemoteCode" : false 

                } 

            ] 

        }, 

        "ScheduleConfig" : 

        { 

            "templateType" : "Standard", 

            "templateName" : "Standard_LLM", 

            "cacheBlockSize" : 128, 

 

            "maxPrefillBatchSize" : 50, 

            "maxPrefillTokens" : 24576, 

            "prefillTimeMsPerReq" : 150, 

            "prefillPolicyType" : 0, 

 

            "decodeTimeMsPerReq" : 50, 

            "decodePolicyType" : 0, 

 

            "maxBatchSize" : 200, 

            "maxIterTimes" : 8192, 

            "maxPreemptCount" : 0, 

            "supportSelectBatch" : false, 

            "maxQueueDelayMicroseconds" : 5000 

        } 

本帖最后由 匿名用户2025/03/24 14:47:51 编辑

我要发帖子