1:目前使用的环境如下:CANN:8.1.RC1,驱动:25.5.1.
2:使用的镜像为:quay.io/ascend/vllm-ascend:v0.9.1
3:可以启动如下模型(通过docker命令):qwen2.5-code-7b-instruct、向量模型(bge-m3)、qwen3-32b(附件为模型启动docker完整命令)
4: 现需要启动deepseek-v4-falsh模型,启动总是报Transformers版本不匹配、triton 编译失败等,尝试升级镜像为:vllm-ascend:v0.14.0rc1、vllm-ascend:v0.17.0rc1、vllm-ascend:v0.18.0rc1、以及vllm-ascend:deepseekv4均不行。
1:目前使用的环境如下:CANN:8.1.RC1,驱动:25.5.1.
2:使用的镜像为:quay.io/ascend/vllm-ascend:v0.9.1
3:可以启动如下模型(通过docker命令):qwen2.5-code-7b-instruct、向量模型(bge-m3)、qwen3-32b(附件为模型启动docker完整命令)
4: 现需要启动deepseek-v4-falsh模型,启动总是报Transformers版本不匹配、triton 编译失败等,尝试升级镜像为:vllm-ascend:v0.14.0rc1、vllm-ascend:v0.17.0rc1、vllm-ascend:v0.18.0rc1、以及vllm-ascend:deepseekv4均不行。
现在不确定是什么问题。