【问题描述】
mindie拉起推理服务化时报错,报错信息如下:no module named 'transformers.models.qwen2_vl'

【版本信息】
MindIE 2.0.T3
qwen2_vl
【分析过程】
1、跑Qwen系列模型,优先选择mindIE 1.0.0版本上,但mindie 1.0.0推理服务化拉起时,仍旧失败,报错信息相同
2、根据报错信息,找不到模型要求的transformers模块,首先检查当前的transformers版本与qwen2_vl模型的版本要求:
mindIE镜像中的transformers版本为4.44.0版本,而根据qwen2_vl模型的README.md要求,transformers需要4.46.0版本
3、将transformers升级至4.46.0版本后,mindie启动服务化成功
【问题原因】
运行服务化推理前,没有先安装对应Python依赖,导致transformers版本与Qwen2_vl模型所要求的版本不匹配
【解决方法】
不同的模型对各模块的版本要求不同,建议按照对应模型的文档进行依赖安装。
该案例中使用的模型是qwen2_vl,要求的transformers是4.46.0
【问题描述】
mindie拉起推理服务化时报错,报错信息如下:no module named 'transformers.models.qwen2_vl'
【版本信息】
MindIE 2.0.T3
qwen2_vl
【分析过程】
1、跑Qwen系列模型,优先选择mindIE 1.0.0版本上,但mindie 1.0.0推理服务化拉起时,仍旧失败,报错信息相同
2、根据报错信息,找不到模型要求的transformers模块,首先检查当前的transformers版本与qwen2_vl模型的版本要求:
mindIE镜像中的transformers版本为4.44.0版本,而根据qwen2_vl模型的README.md要求,transformers需要4.46.0版本
3、将transformers升级至4.46.0版本后,mindie启动服务化成功
【问题原因】
运行服务化推理前,没有先安装对应Python依赖,导致transformers版本与Qwen2_vl模型所要求的版本不匹配
【解决方法】
不同的模型对各模块的版本要求不同,建议按照对应模型的文档进行依赖安装。
该案例中使用的模型是qwen2_vl,要求的transformers是4.46.0