华为计算微信公众号
昇腾AI开发者公众号
华为计算微博
华为计算今日头条
目前已经用vllm ascend成功地把Qwen2.5VL和Qwen3跑了起来。想咨询一下这两个模型的量化是不是已经支持了呢?
本帖最后由 匿名用户 于 2025/05/09 16:34:41 编辑
我要发帖子
目前已经用vllm ascend成功地把Qwen2.5VL和Qwen3跑了起来。想咨询一下这两个模型的量化是不是已经支持了呢?