MindIE RC2版本镜像适配openAI格式报错(bloom-7b)
收藏回复举报
MindIE RC2版本镜像适配openAI格式报错(bloom-7b)
t('forum.solved') 已解决
新人帖
发表于2024-09-05 17:21:31
0 查看

bloom-7b 和baichuan2-7b的openai格式请求会报错。

{"error":"generate request for inference failed.","error_type":"internal failed"}

cke_2174.png

tail -f mindservice.log输出报错信息为

cke_4363.png

我要发帖子