Transformers版本不匹配导致mindie推理启动服务化失败
收藏回复举报
Transformers版本不匹配导致mindie推理启动服务化失败
发表于2025-04-02 11:32:07
0 查看

【问题描述】

mindie拉起推理服务化时报错,报错信息如下:no module named 'transformers.models.qwen2_vl'

transformer.png

【版本信息】

MindIE 2.0.T3

qwen2_vl

【分析过程】

1、跑Qwen系列模型,优先选择mindIE 1.0.0版本上,但mindie 1.0.0推理服务化拉起时,仍旧失败,报错信息相同

2、根据报错信息,找不到模型要求的transformers模块,首先检查当前的transformers版本与qwen2_vl模型的版本要求:

mindIE镜像中的transformers版本为4.44.0版本,而根据qwen2_vl模型的README.md要求,transformers需要4.46.0版本

3、将transformers升级至4.46.0版本后,mindie启动服务化成功

【问题原因】

运行服务化推理前,没有先安装对应Python依赖,导致transformers版本与Qwen2_vl模型所要求的版本不匹配​

【解决方法】

不同的模型对各模块的版本要求不同,建议按照对应模型的文档进行依赖安装。

该案例中使用的模型是qwen2_vl,要求的transformers是4.46.0

本帖最后由 匿名用户2025/04/02 11:36:24 编辑

我要发帖子