【求助】关于Atlas 300I无法跑Qwen2.5-VL的几个问题
收藏回复举报
【求助】关于Atlas 300I无法跑Qwen2.5-VL的几个问题
t('forum.solved') 已解决
发表于2025-07-02 16:46:27
0 查看

现有服务器:Atlas 300I DUO,四卡双芯片

驱动版本:Version 24.1.0.1

cke_2876.png

固件版本:firmware 7.3.0.1.231

尝试一:拉起官方提供MindIE 2.0镜像,2.0.RC2-300I-Duo-py311-openeuler24.03-lts/2.0.RC1-300I-Duo-py311-openeuler24.03-lts,均匀无法正常启动。

期间参照帖子(均未果):https://www.hiascend.com/forum/thread-0255182499718642092-1-1.html、https://www.hiascend.com/forum/thread-0255182144444158080-1-1.html?postId=03108182164470859284、https://www.hiascend.com/forum/thread-0292174882731566049-1-1.html

后发现Ascend官方显示Atlas 300I系列不支持MindIE 2.0运行Qwen2.5-VL

cke_56207.png

尝试二:尝试使用vLLM-Ascend,发现指南示例(https://vllm-ascend.readthedocs.io/en/latest/installation.html)中,支持设备列表中也不支持Atlas 300I 系列

cke_76012.png

尝试拉取示例中vLLM-Ascend镜像(http://quay.io/ascend/vllm-ascend:v0.9.1rc1),能成功加载模型,但在启用算子包时异常

cke_106989.jpeg

异常日志信息见后文

求助问题:

1、请问哪位大神尝试过在300I DUO上对Qwen2.5-VL多模态系列模型进行推理,求一个镜像链接

2、请问官方后入对Atlas 300I系列是否有支持多模态大模型的计划与打算?

我要发帖子