华为计算微信公众号
昇腾AI开发者公众号
华为计算微博
华为计算今日头条
800T A2机器使用vllm框架对deepseek-coder-v2-lite-instruct模型进行推理时报错,但是换一个模型,比如Qwen2.5-7B的就可以
本帖最后由 匿名用户 于 2025/03/10 10:28:49 编辑
我要发帖子
800T A2机器使用vllm框架对deepseek-coder-v2-lite-instruct模型进行推理时报错,但是换一个模型,比如Qwen2.5-7B的就可以