华为计算微信公众号
昇腾AI开发者公众号
华为计算微博
华为计算今日头条
设备Atlas 800 IA2 * 1,部署DeepSeek-R1-Distill-Qwen-32B,使用dify调用api。 在回答问题时,出现中断情况(如截图所示),之后再问相同/不同的问题都可以继续回答并回答完整。请问这个问题如何解决,需要修改哪个参数呢?
config中参数配置如下(其余默认): "maxSeqLen" : 8192, "maxInputTokenLen" : 4096, "maxPrefillTokens" : 8192, "maxIterTimes" : 2048,
我要发帖子
设备Atlas 800 IA2 * 1,部署DeepSeek-R1-Distill-Qwen-32B,使用dify调用api。
在回答问题时,出现中断情况(如截图所示),之后再问相同/不同的问题都可以继续回答并回答完整。请问这个问题如何解决,需要修改哪个参数呢?