多模态模型推理时报错：Qwen2VL/Qwen2.5VL_VIT_graph nodes[1] infershape fail.

问题描述

多模态模型进行推理时出现类似以下报错提示：

[standard_model.py:188] : [Model] >>> global rank-2 Execute type:1, Exception:Qwen25VL_VIT_graph nodes[1] infershape  fail, enable log: export ASDOPS_LOG_LEVEL=ERROR, export ASDOPS_LOG_TO_STDOUT=1

或者：

[error] [1256320] [operation_base.cpp:273] Qwen25VL_VIT_layer_0_graph infer shape fail, error code: 8

原因分析

• 使用的模型在当前版本可能不支持该硬件环境。

• 输入shape过大，selfattention算子不支持。

解决方案

• 使用的模型在当前版本可能不支持该硬件环境
  • 单击链接，查看MindIE各版本模型支持度，选择正确的MindIE版本。
  • 通过修改代码临时解决，可直接在镜像中修改相应的代码，仅需修改python代码，不需重新编译，如下所示。

    

• 输入shape过大，selfattention算子不支持

  将服务化配置文件config.json中的maxPrefillTokens参数适当调小。