ds-qwen-32b服务拉起后,回答存在中断问题
收藏回复举报
ds-qwen-32b服务拉起后,回答存在中断问题
t('forum.solved') 已解决
发表于2025-03-21 14:51:01
0 查看

设备Atlas 800 IA2 * 1,部署DeepSeek-R1-Distill-Qwen-32B,使用dify调用api。
在回答问题时,出现中断情况(如截图所示),之后再问相同/不同的问题都可以继续回答并回答完整。请问这个问题如何解决,需要修改哪个参数呢?

config中参数配置如下(其余默认):
"maxSeqLen" : 8192, 

"maxInputTokenLen" : 4096,

"maxPrefillTokens" : 8192,

"maxIterTimes" : 2048,

cke_4144.png

我要发帖子