Qwen2-VL-7B-Instruct 模型的 MindIE 服务不能与 RagFlow 集成
收藏回复举报
Qwen2-VL-7B-Instruct 模型的 MindIE 服务不能与 RagFlow 集成
t('forum.solved') 已解决
发表于2025-02-25 11:11:03
0 查看

在 RagFlow 的聊天界面中,点右下角的图标可以上传图片。

Screenshot%202025-02-25%20105631.png

上传图片后,在没有其他输入的情况下,RagFlow 已经发图片到 MindIE 服务处请求解读图片。此时的消息格式为:

{
  "max_tokens": 300,
  "messages": [
    {
      "content": [
        {
          "image_url": "http://localhost:5000/download/tmpfywwmct2.jpeg",
          "type": "image_url"
        },
        {
          "text": "请用中文详细描述一下图中的内容,比如时间,地点,人物,事情,人物心情等,如果有数据请提取出数据。",
          "type": "text"
        }
      ],
      "role": "user"
    }
  ],
  "model": "qwen2_vl"
}

在输入框里输入“解读图片”四个字并发送请求之后,RagFlow 的界面报错 422。可以截获到 RagFlow 发送的消息为:

{
  "frequency_penalty": 0.7,
  "max_tokens": 512,
  "messages": [
    {
      "content": "你是一个智能助手,请总结知识库的内容来回答问题,请列举知识库中的数据详细回答。当所有知识库内容都与问题无关时,你的回答必须包括“知识库中未找到您要的答案!”这句话。回答需要考虑聊天历史。\n        以下是知识库:\n        \n------\n\n        以上是知识库。\n\n### Query:\n解读图片",
      "role": "system"
    },
    {
      "content": "解读图片",
      "role": "user"
    }
  ],
  "model": "qwen2_vl",
  "presence_penalty": 0.4,
  "stream": true,
  "temperature": 0.1,
  "top_p": 0.3
}

可以看到,此时的消息格式和上面的上传图片的消息已经完全不一样了。此时 MindIE 返回的错误就是422。

如果后面挂的模型是通用的大语言模型例如 DeepSeek-R1-32B,就不会有这个错误而能够正常处理。请问 MindIE 是不是针对多态模型做了请求的校验?是不是只能接受第一种请求?如果是的话,多态模型用 MindIE 提供的服务如何跟 RagFlow 集成呢?

我要发帖子