800I A2进行Qwen2.5-72B-Instruct测试五万字报错This model's maximum input ids length cannot be greater than 2048
收藏回复举报
800I A2进行Qwen2.5-72B-Instruct测试五万字报错This model's maximum input ids length cannot be greater than 2048
t('forum.solved') 已解决
发表于2025-01-20 17:25:20
0 查看

使用脚本生成五万字文字,然后进行测试,配置文件修改如下

cke_1163.png

服务启动正常

cke_2846.png

使用脚本生成五万字文字,然后进行测试,脚本内容如下

cke_11661.png

测试命令为:curl -X POST -H "Content-Type: application/json" -d @request_data.json http://127.0.0.1:1025/v1/chat/completions

报错内容如下:

cke_19197.png

我要发帖子