300I DUO使用5月8日新发布的2.0.RC1-300I-Duo-py311-openeuler24.03-lts镜像仍然不支持部署Qwen2.5-vl模型
收藏回复举报
300I DUO使用5月8日新发布的2.0.RC1-300I-Duo-py311-openeuler24.03-lts镜像仍然不支持部署Qwen2.5-vl模型
t('forum.solved') 已解决
发表于2025-05-09 10:34:11
0 查看

硬件:4张300I DUO、kunpeng 920 CPU

软件:Ubuntu 22.04、docker 28.1.1、使用5月8日新发布的2.0.RC1-300I-Duo-py311-openeuler24.03-lts镜像

问题:部署运行Qwen2.5-vl-32b模型时报错,报错截图:

cke_4483.png

后发现该镜像中的transformer版本为4.44.0,将其升级至4.49.0后再次运行,仍然报错,截图:

cke_15125.png

cke_15705.png

但是明明官方说明是支持Qwen2.5-VL 72B的,虽然我用的是32B参数的,但这个应该不影响吧..

cke_21389.png

请大佬帮忙指点一下。

本帖最后由 匿名用户2025/05/09 10:44:51 编辑

我要发帖子