华为计算微信公众号
昇腾AI开发者公众号
华为计算微博
华为计算今日头条
【问题描述】
使用MindIE启动DeepSeekV3-0324量化版本推理服务，config.json中相关配置如下：
"maxSeqLen" : 49152, "maxInputTokenLen" : 40960, "maxPrefillTokens" : 40960, "maxIterTimes" : 8192, "maxPrefillBatchSize" : 1
用户通过curl命令输入一长文本进行推理验证，报错如下：
[2025-04-17 14:01:57.876+08:00] [5778] [11425] [mindie-server] [ERROR] [ibis_request_manager.cpp:61] : [MIE04E110307] [batch_scheduler] The input token num of this request is 25959, larger than maxInputLength 8448
我要发帖子
点赞
收藏
回复
分享
举报
已解决
【问题描述】
使用MindIE启动DeepSeekV3-0324量化版本推理服务，config.json中相关配置如下：
用户通过curl命令输入一长文本进行推理验证，报错如下：