deepseek-v4-falsh模型启动异常
收藏回复举报
deepseek-v4-falsh模型启动异常
t('forum.solved') 已解决
发表于2026-06-02 17:16:10
0 查看

1:目前使用的环境如下:CANN:8.1.RC1,驱动:25.5.1.

2:使用的镜像为:quay.io/ascend/vllm-ascend:v0.9.1

3:可以启动如下模型(通过docker命令):qwen2.5-code-7b-instruct、向量模型(bge-m3)、qwen3-32b(附件为模型启动docker完整命令)

4: 现需要启动deepseek-v4-falsh模型,启动总是报Transformers版本不匹配、triton 编译失败等,尝试升级镜像为:vllm-ascend:v0.14.0rc1vllm-ascend:v0.17.0rc1vllm-ascend:v0.18.0rc1、以及vllm-ascend:deepseekv4均不行。

 现在不确定是什么问题。

我要发帖子