800T A2机器使用vllm框架对deepseek-coder-v2-lite-instruct模型进行推理时报错,但是换一个模型,比如Qwen2.5-7B的就可以
收藏回复举报
800T A2机器使用vllm框架对deepseek-coder-v2-lite-instruct模型进行推理时报错,但是换一个模型,比如Qwen2.5-7B的就可以
t('forum.solved') 已解决
发表于2025-03-10 10:11:19
0 查看

800T A2机器使用vllm框架对deepseek-coder-v2-lite-instruct模型进行推理时报错,但是换一个模型,比如Qwen2.5-7B的就可以

本帖最后由 匿名用户2025/03/10 10:28:49 编辑

我要发帖子