我在300i duo 上 ,基于mindie框架, 部署了Qwen3-32B 。速度比较慢,大约10tokens/s 。 mindie框架不支持Qwen3-Next 架构。
然后尝试用vllm-ascend容器 。部署Qwen3-32B ,速度也是比较慢。跟mindie上相当,约10tokens/s 。 用vllm-ascend 容器部署Qwen3-Next-80B-A3B-Instruct ,报算子不支持错误。
然后又看到SGLang框架可以部署Qwen3-Next。想求证,SGLang框架支持300i duo 吗 ?
我想在300i duo部署Qwen3-32B 和Qwen3-Next-80B-A3B-Instruct ,请问有更快的方案吗?
我在300i duo 上 ,基于mindie框架, 部署了Qwen3-32B 。速度比较慢,大约10tokens/s 。 mindie框架不支持Qwen3-Next 架构。
然后尝试用vllm-ascend容器 。部署Qwen3-32B ,速度也是比较慢。跟mindie上相当,约10tokens/s 。 用vllm-ascend 容器部署Qwen3-Next-80B-A3B-Instruct ,报算子不支持错误。
然后又看到SGLang框架可以部署Qwen3-Next。想求证,SGLang框架支持300i duo 吗 ?
我想在300i duo部署Qwen3-32B 和Qwen3-Next-80B-A3B-Instruct ,请问有更快的方案吗?